Integration von Emotionaler Intelligenz in Interface-Agenten

„Integration von Emotionaler Intelligenz in Interface-Agenten am Beispiel einer Trainingssoftware für lernbehinderte Kinder“ Von der Fakultät für Mat...
Author: Ewald Koenig
1 downloads 2 Views 9MB Size
„Integration von Emotionaler Intelligenz in Interface-Agenten am Beispiel einer Trainingssoftware für lernbehinderte Kinder“

Von der Fakultät für Mathematik, Informatik und Naturwissenschaften der RheinischWestfälischen Technischen Hochschule Aachen zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften genehmigte Dissertation

vorgelegt von Diplom-Informatiker Yehya Mohamad aus Bonn Berichter: Universitätsprofessor Dr. Thomas Berlage Universitätsprofessor Dr. Matthias Jarke

Tag der mündlichen Prüfung: 24.Juni.2005

Diese Dissertation ist auf den Internetseiten der Hochschulbibliothek online verfügbar

Abstract: Adaptive User Interfaces are an important success factor for the development of information and communication systems and, in particular, for those subsystems where interaction with end-users is critical, like therapeutical and training systems. Current adaptive interfaces are based upon user and device profiles. The presented work adds a new powerful tool for the development of such adaptive systems by analysing the arousal states of the user with non-invasive biofeedback sensors. This provides reliable means to recognise the arousal states of the user that complements research attempts in this area that interpret arousal states by other external signals of the human body, like gestures, speech intonation, blood pressure, skin-conductivity etc.. On this basis, an architecture to build generic emotional computer systems is constructed, which can be used as a template to create such systems in different application areas. The developed system proposes a combination of sensors and a set of effective algorithms to infer the arousal state of the user. This information is used to modify the behaviour and the interfaces of the application. In particular, a therapeutical system was developed where Interface Agents –which themselves can communicate through mimic, speech and affective expressions with the user– modify their behaviour according to the arousal status of the user. This approach can be extended to develop narrative training and therapeutical systems, which could adapt their functionality and user interface to the motivation level of the user, and focus her attention on the fulfilment of the current task. The aforementioned recognition process elicits the user’s arousal states at a level sophisticated enough for the target systems. It is beyond the scope of this work to imitate affective or recognition abilities of human beings. The process describes several input devices to measure the arousal state of a user and shows a concept for its interpretation. The architecture consists of the following components: o

Input devices, e.g., optical sensors, acoustical sensors or biofeedback sensors.

o

Assessment methodologies and stochastic methods.

o

Simulation of emotions in Interface Agents.

o

Integration in applications, and especially as a multimodal Human-Computer Interface.

As a proof-of-concept, the author developed and thoroughly evaluated a therapeutical system –TAPA, Training by Animated Pedagogical Agents– targeted to learning disabled children. These children have frequently deficits in their meta-memory strategies, i.e., the users’ knowledge about their own memory abilities, like categorising objects. TAPA is based upon the concepts described above and uses the skin conductivity sensor as the input device to measure the user’s arousal states. The system trains end-users to improve their meta-memory abilities, and the evaluations performed with groups of children with a variety of learning disabilities have shown very promising results, as children who used the system greatly improved their skills in this area in comparison to different control groups. The development of TAPA, and in general of any emotional computer system, requires a multidisciplinary approach where different disciplines and technologies collaborate together, especially computer science and psychology. Among the technologies utilised in this work, we can highlight: interface design and story-telling, user modelling, e-learning and biofeedback sensors.

Kurzfassung: Adaptivität ist für den Erfolg von Informationssystemen von großer Bedeutung, besonders in solchen Systemen, in denen Mensch-Maschine-Schnittstellen (MMS) eine entscheidende Rolle für den erfolgreichen Einsatz spielen, wie z.B. bei Trainingssystemen. In heutigen Systemen werden für diesen Zweck Nutzerund Geräteprofile zugrunde gelegt. Diese Arbeit fügt als neuartige Dimension zur Anpassung der MMS die Erkennung des Erregungszustands von Nutzern als grundlegende Komponente hinzu. Bisherige Forschungsansätze verfolgten die Erkennung von menschlichen Erregungszuständen anhand von Mimik und Augenbewegungen. Neuere Arbeiten im Bereich der Grundlagenforschung berücksichtigen andere sichtbare und unsichtbare Parameter wie Körperhaltung, Stimme, Atemfrequenz, Atemhöhe, Blutdruck oder Hautleitfähigkeit, allerdings gibt es bislang keine Integration in eine einsatzfähige Anwendung. Eine solche Integration erfolgte in diesem Promotionsvorhaben in Form eines „emotionales Computersystems“, das sowohl Erregungszustände erkennen als auch über Interface Agenten Emotionen simulieren kann. Darin wird aufgezeigt, wie die Architektur eines emotionalen Computersystems, basierend auf einer Kombination von Sensoren und Erkennungsmethoden, konstruiert werden kann. Die Erfassung, Darstellung und Auswertung von geeigneten Messsignalen, gestatten eine indirekte Beurteilung des Erregungszustandes. Die erkannten Erregungszustände können anschließend zur Anpassung der MMS genutzt werden. Diese wird ganz wesentlich durch den Einsatz von Sozial Intelligenten Interface Agenten (SIAs) geprägt. Die in Form animierter Figuren auftretenden SIAs bringen „emotionale Intelligenz“ in die Interaktion mit den Nutzern, indem sie neben verbalem Feedback auch menschliche Verhaltensweisen und Emotionen durch nonverbale Signale wie Mimik und Gestik simulieren. Im Rahmen dieser Arbeit wird nicht eine generische Erkennung von menschlichen Erregungszuständen angestrebt oder gar eine echte Abbildung der menschlichen Fähigkeiten des Erkennens und Ausdrückens von Emotionen, sondern eine abstrakte Architektur, die mögliche Eingabegeräte, Messungs- und Bewertungsmethoden beschreibt sowie die Integration in Anwendungsdomänen. Sie erlaubt eine flexible Umsetzung der verschiedenen Komponenten eines emotionalen Computersystems. Diese Architektur beschreibt eine Vorgehensweise zur Bildung emotionaler Computersysteme auf folgende Ebenen: o

Eingabegeräte z.B. optische Sensoren oder Biosensoren

o

Bewertungs- und Erkennungsmethoden z.B. stochastische Methoden

o

Simulation von Emotionen durch Soziale Interface Agenten

o

Integration in Anwendungsdomänen, speziell in die Mensch Maschine Schnittstelle (MMS).

Die Validierung der vorgeschlagenen Architektur wurde in der vorliegenden Arbeit anhand eines eigens dafür entwickelten computerbasierten Trainingssystems für lernbehinderte Kinder durchgeführt. Dabei wurden die für das Lernen wichtigen Erregungszustände berücksichtigt, die mit Hilfe von non-invasiven Biofeedbacksensoren gemessen wurden. Durch das Trainingssystem soll das Metagedächtnis (Wissen über das eigene Gedächtnis) von Kindern mit Lernbehinderungen gefördert und ihre Lernmotivation durch SIAs positiv beeinflusst werden. Psychologische Studien belegen diese Annahmen. Erkennung und Nutzung von Erregungszuständen der Nutzer von IT-Systemen ist ein wenig erforschtes Gebiet, allerdings steigt das Interesse an diesem Forschungsgebiet zusehends. Emotionale Computersysteme und ihre Nutzung in therapeutischen Trainings- oder anderen Informationssystemen stellen ein neues interdisziplinäres Forschungsfeld dar, an dessen Bildung und Validierung u. a. die folgenden Disziplinen aus Wissenschaft und Praxis beteiligt sind, wie z.B. Interface Agenten / Storytelling, Neuropsychologische Emotionstheorien, E-Learning, Nutzermodellierung oder Sensorik.

Danksagung Die vorliegende Arbeit entstand hauptsächlich während meiner Tätigkeit als wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Angewandte Informationstechnik (FIT)1 unter Leitung von Prof. Dr. Jarke. Ich arbeitete in FIT in der Gruppe Life Science Informatik unter der Leitung von Prof. Dr. Berlage. FIT hat eine ausgeprägte Tradition in der Betreuung und Durchführung von Diplomarbeiten und Dissertationen, von denen viele im Bereich der Mensch-Maschine-Schnittstelle angesiedelt sind [FIT Publikationen 2004]. Ohne die Unterstützung und die Möglichkeiten am Fraunhofer Institut FIT wäre die Durchführung dieser Arbeit nicht möglich gewesen. Ich möchte besonders folgende Personen für die wertvolle Zusammenarbeit bedanken: •

Meinem Betreuer Prof. Dr. Thomas Berlage für seine Unterstützung und die wertvollen Tipps zur Verbesserung dieser Arbeit



Prof. Dr. Matthias Jarke für seine Unterstützung und die Betreuung meiner Arbeit



Dipl. Psychologe Holger Tebarth für die Zusammenarbeit im psychologischen Bereich und bei der Evaluierung an der Universitätskinderklinik Bonn und an der Gutenbergschule in Sankt Augustin



Den Diplomanden/innen und Studenten/innen, Stefanie Hammer, Sylvia Damm, Tanja Klein und Jochen Welle für die Evaluation des Systems und ihre konstruktive Mitarbeit



Meinen Kollegen/innen Dr. Carlos Velasco, Dirk Stegemann, Gaby Nordbrock, Henrike Gappa und Johannes Koch für ihre Unterstützung



Den Kindern an der Kinderklinik der Universität Bonn und den Kindern an der Gutenbergschule in St. Augustin



1

Raja, Nora, Abdullah, Saeed, und Karim für ihre Liebe.

http://www.fit.fraunhofer.de/index.html

1

EINLEITUNG..................................................................................................... 14

1.1

Aufbau der Arbeit................................................................................................................................. 17

1.2

Fragestellung ......................................................................................................................................... 19

1.3

Definitionen und Annäherung an emotionale Computersysteme..................................................... 20

1.3.1

Einordnung in der MMS .................................................................................................................... 22

1.3.2

Erregungszustände der Nutzer ........................................................................................................... 22

1.3.3

Simulation von Emotionen................................................................................................................. 25

1.3.4

Domänenintegration und ihre Evaluation .......................................................................................... 26

1.4

Persönliche Motivation......................................................................................................................... 27

1.5

Bemerkungen zur Sprache................................................................................................................... 27

2

KOMPONENTEN VON EMOTIONALEN COMPUTERSYSTEMEN ................. 28

2.1

Basistechnologien zur Erkennung von Erregungszuständen............................................................ 28

2.1.1

Systeme auf Basis von optischen Sensoren........................................................................................ 29

2.1.2

Systeme auf Basis von akustischen Sensoren .................................................................................... 31

2.1.3

Systeme auf Basis von Biosensoren................................................................................................... 32

2.1.4

Erfassung und Auswertung von Signalen .......................................................................................... 34

2.1.4.1

Hidden-Markov-Modelle.......................................................................................................... 36

2.1.4.2

Bayessche Netzwerke............................................................................................................... 37

2.1.4.3

Neuronale Netze ....................................................................................................................... 37

2.1.4.4

Fuzzy Logik.............................................................................................................................. 38

2.1.4.5

Expertensysteme/Wissensbasierte Systeme.............................................................................. 38

2.1.5 2.2

Zusammenfassung.............................................................................................................................. 39 Simulation von Emotionen durch Soziale Interface Agenten (SIAs)................................................ 41

2.2.1

Hauptmerkmale von SIAs.................................................................................................................. 45

2.2.2

„Persönlichkeit“ und „Emotionen“ von SIAs .................................................................................... 47

2.2.2.1 2.2.3

2.3

Die Theorie von Ortony, Clore und Collins ............................................................................. 48

Bekannte Prototypen von SIAs .......................................................................................................... 49

2.2.3.1

Cosmo....................................................................................................................................... 49

2.2.3.2

Peedy ........................................................................................................................................ 50

2.2.3.3

Der bewohnte Marktplatz ......................................................................................................... 50

2.2.3.4

Prime Climb ............................................................................................................................. 50

2.2.3.5

Zusammenfassung .................................................................................................................... 51

Interaktionsmodalitäten....................................................................................................................... 52

2.3.1

Direkte Interaktion ............................................................................................................................. 53

2.3.2

Profilerstellung über Selbstreport ...................................................................................................... 53

2.3.3

Stereotypen ........................................................................................................................................ 53

2.3.4

Zusammenfassung.............................................................................................................................. 53

2.4

Anwendungsdomänen .......................................................................................................................... 54

2.4.1

Lernen ................................................................................................................................................ 54

2.4.2

Computerspiele .................................................................................................................................. 54

2.4.3

E-Commerce ...................................................................................................................................... 55

2.4.4

Interaktive soziale Systeme................................................................................................................ 55

2.4.5

Therapeutische Systeme..................................................................................................................... 56

2.4.6

Zusammenfassung.............................................................................................................................. 57

3

KONSTRUKTION EINER ARCHITEKTUR VON EMOTIONALEN

COMPUTERSYSTEMEN ......................................................................................... 58 3.1

Sensorart wählen und Messen ............................................................................................................. 61

3.2

Merkmale Extrahieren ......................................................................................................................... 63

3.2.1

Verdichtungsmethoden zur Merkmalsextraktion ............................................................................... 64

3.2.2

Eingangsdaten .................................................................................................................................... 65

3.2.3

Zusammenfassung.............................................................................................................................. 65

3.3

Erkennen ............................................................................................................................................... 66

3.3.1

Modell................................................................................................................................................ 66

3.3.2

Verfahren ........................................................................................................................................... 68

3.3.3

Zusammenfassung.............................................................................................................................. 69

3.4

Integrieren in Anwendungsdomänen.................................................................................................. 70

3.5

Kommunizieren und simulieren von Emotionen ............................................................................... 71

3.5.1

Modalitäten ........................................................................................................................................ 71

3.5.2

Emotionsmodell in SIAs abhängig vom Erregungszustand des Nutzers ........................................... 71

3.5.3

Zusammenfassung.............................................................................................................................. 72

3.6

4

Zusammenfassung ................................................................................................................................ 72

TAPA: TRAINING BY ANIMATED PEDAGOGICAL AGENTS........................ 74

4.1

Überblick ............................................................................................................................................... 74

4.2

Lernbehinderung als Anwendungsdomäne ........................................................................................ 75

4.2.1

Interventionsmethode......................................................................................................................... 76

4.3

Evaluationsinstrumente........................................................................................................................ 77

4.4

Die TAPA-Story .................................................................................................................................... 79

4.4.1

Beschreibung der Szenen ................................................................................................................... 80

4.4.2

Szenenkette ........................................................................................................................................ 82

4.5

Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse .............................. 84

4.5.1

Selbstreport ........................................................................................................................................ 85

4.5.2

Leistung (Performanz) / Recall .......................................................................................................... 87

4.5.3

Strategieperformanz / Sort ................................................................................................................. 87

4.5.4

Erregungszustand............................................................................................................................... 87

4.5.4.1

Beschreibung als Hidden- Markov-Modell (HMM)................................................................. 90

4.5.4.2

Transitionsmatrix...................................................................................................................... 92

4.5.4.3

Übergangsmatrix ...................................................................................................................... 93

4.5.4.4

Übergangsmatrix für das gesamte HMM ................................................................................. 96

4.5.4.5

Berechnungsschritte des HMM,s durch den Viterbi Algorithmus............................................ 97

4.6

Design der „adaptiven“ Reaktionen von TAPA............................................................................... 100

4.7

Interaktionsmodell.............................................................................................................................. 103

4.8

Ethische Aspekte................................................................................................................................. 104

5

IMPLEMENTIERUNG DES EMOTIONALEN COMPUTERSYSTEMS TAPA .105

5.1

Entwicklungsumgebungen ................................................................................................................. 107

5.1.1

Entwicklungsumgebung für SIAs .................................................................................................... 107

5.1.1.1 5.1.2

Architektur der Agenten ......................................................................................................... 107

Entwicklungsumgebung für die TAPA Szenarien ........................................................................... 109

5.2

Programmierung der Software Module............................................................................................ 111

5.3

Technische Komponenten in Entwicklung und Einsatz von TAPA ............................................... 114

6

EVALUATION VON TAPA...............................................................................116

6.1

Ausschnitt aus einer Trainingssitzung mit TAPA............................................................................ 116

6.2

Prototypische Evaluation an der Universitätskinderklinik Bonn................................................... 121

6.2.1

Evaluationsfragen ............................................................................................................................ 121

6.2.2

Evaluationsmethode ......................................................................................................................... 121

6.2.3

Evaluationsergebnisse...................................................................................................................... 121

6.3 6.3.1

Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin ...................... 124 Evaluationsfragen ............................................................................................................................ 124

6.3.2

Evaluationsmethode ......................................................................................................................... 125

6.3.2.1 6.3.3

6.4

7

Ablauf der Evaluation............................................................................................................. 127

Evaluationsergebnisse...................................................................................................................... 129

6.3.3.1

Kategoriales Organisieren in der Lernphase........................................................................... 129

6.3.3.2

Kategoriales Organisieren in der Recallphase ........................................................................ 131

6.3.3.3

Analyse der Gedächtnisleistung ............................................................................................. 132

6.3.3.4

Analyse der Metagedächtnisleistung ...................................................................................... 134

Zusammenfassung .............................................................................................................................. 135

ZUSAMMENFASSUNG DER ERGEBNISSE UND AUSBLICK ......................136

7.1

Ergebnisse............................................................................................................................................ 137

7.2

Ausblick ............................................................................................................................................... 138

8

LITERATUR .....................................................................................................142

9

LINKS...............................................................................................................154

10

ANHANG I: AUFBAU...................................................................................155

10.1

Nutzerprofil und Start........................................................................................................................ 155

10.2

Szene 1 ................................................................................................................................................. 156

10.2.1

Struktur des Nutzerprofil............................................................................................................. 156

10.2.2

Struktur des Emotionenprtokolls................................................................................................. 157

10.3

Szene 3 ................................................................................................................................................. 157

11

ANHANG II – LOGFILE EINER TRAININGSITZUNG..................................159

12

ANHANG III– LOGFILE MESSUNG DER HAUTLEITFÄHIGKEIT ..............163

Abbildungen

Abbildung 1: Darstellung von zwei Zuständen eines emotionalen Computersystems ............ 15 Abbildung 2: Eine Szene aus TAPA ........................................................................................ 16 Abbildung 3: Position der Amygdala im Gehirn ..................................................................... 20 Abbildung 4: Einordnung emotionaler Computer Systeme in der Informationstechnologie... 21 Abbildung 5: Funktionale Bausteine von emotionalen Computersystemen ............................ 28 Abbildung 6: Muskelgruppen in FACS3 .................................................................................. 30 Abbildung 7: Foto vom BBCI Projekt [Müller 2000].............................................................. 34 Abbildung 8: Komponenten und Anwendungen von SIAs...................................................... 42 Abbildung 9: Siemens Handy mit emotionalen Figuren.......................................................... 44 Abbildung 10: Aibo und Qrio von Sony .................................................................................. 55 Abbildung 11: Yori-soi ifbot zur Unterhaltung von Senioren ................................................. 56 Abbildung 12: Erweiterte Architektur eines emotionalen Computersystems .......................... 60 Abbildung 13 : Mess-Sensoren ................................................................................................ 61 Abbildung 14: Messen der Körpersignale und Merkmalsextraktion ....................................... 63 Abbildung 15: Erkennung des Erregungszustandes................................................................. 68 Abbildung 16: Lösungsmodell für HMM ................................................................................ 69 Abbildung 17: Aspekte von TAPA .......................................................................................... 74 Abbildung 18: Strategieaufgabe............................................................................................... 80 Abbildung 19: Richtige Lösung der Strategieaufgabe ............................................................. 81 Abbildung 20: Darstellung der Einstellungsstufen in TAPA................................................... 82 Abbildung 21: Darstellung des Entscheidungsprozesses ......................................................... 84 Abbildung 22: Informationsquellen ......................................................................................... 85 Abbildung 23: Spaßometer....................................................................................................... 86 Abbildung 24: Darstellung des Stochastischen TAPA Prozesses als Transitionsmodell ........ 92 Abbildung 25: Regeln zur Bildung einer Übergangsmatrix der Erregungszustände in einer

Szene ........................................................................................................................................ 93 Abbildung 26: Regeln zur Bildung einer Übergangsmatrix der Erregungszustände in einer Minute ...................................................................................................................................... 94 Abbildung 27: Regeln zur Bildung einer Übergangsmatrix der Erregungszustände in drei Minuten .................................................................................................................................... 95 Abbildung 28: Regeln zur Bildung einer Übergangsmatrix für die der Erregungszustände in einer Szene ............................................................................................................................... 96 Abbildung 29: Gitter (trellis).................................................................................................... 98 Abbildung 30: Spezifikation des Viterbi Algorithmus zur Erkennung der Erregungszuständen .................................................................................................................................................. 99 Abbildung 31: Schematische Darstellung des Interaktionsmodell von TAPA ...................... 103 Abbildung 32: TAPA System Überblick ............................................................................... 105 Abbildung 33: Hautleitsensor (GSR) ..................................................................................... 106 Abbildung 34: Typisches Hautleitfähigkeit-Signal................................................................ 106 Abbildung 35 : Darstellung der Entwicklungs- und Laufzeitumgebung ............................... 110 Abbildung 36: TAPA Story und Modulstruktur .................................................................... 111 Abbildung 37: Software Komponenten von TAPA ............................................................... 112 Abbildung 38: Technische Konzeption von TAPA ............................................................... 114 Abbildung 39: Startbild des Programms zur Berechnung des Erregungszustandes .............. 117 Abbildung 40: Biofeedbacksensoren ..................................................................................... 117 Abbildung 41: Startbild des TAPA Programms..................................................................... 118 Abbildung 42: Werte des Erregungszustandes aus einem Abschnitt einer Trainingssitzung 119 Abbildung 43: Erfolgsrate der nicht lernbehinderten Kinder vor und nach dem Training .... 122 Abbildung 44: Erfolgsrate der lernbehinderten Kinder vor und nach dem Training ............. 122 Abbildung 45: Darstellung der Untersuchungsvariablen ....................................................... 125 Abbildung 46: Untersuchungsablauf in Experimental- und Kontrollgruppe ......................... 128 Abbildung 47: Anzahl der Kinder mit Organisierverhalten vor dem Training...................... 129 Abbildung 48: Verhältnis der Kinder mit Organisierverhalten / Kein Organisierverhalten .. 130 Abbildung 49: Anzahl der Kinder mit Organisierverhalten nach dem Training.................... 131

Abbildung 50: Performanz während der Recallphase............................................................ 132 Abbildung 51: Gedächtnisleistung ......................................................................................... 133 Abbildung 52: Metagedächtnisleistung.................................................................................. 134 Abbildung 53: Start/Nutzerprofil Screen ............................................................................... 155 Abbildung 54: Szene 1 Screen ............................................................................................... 156 Abbildung 55: Szene 3 Screen ............................................................................................... 157 Abbildung 56: Szene 6 Screen ............................................................................................... 158

Tabellen Tabelle 1: Stimmmerkmale und Erregungszustände................................................................ 31 Tabelle 2: SIA mit verschiedenen Animationen ...................................................................... 41 Tabelle 3: SIAs in der TAPA Story ......................................................................................... 80 Tabelle 4: HMM-Modell.......................................................................................................... 90 Tabelle 5: Die nicht sichtbaren Zustände im TAPA Hidden-Markov-Modell......................... 91 Tabelle 6: Das TAPA HMM für Erregungszustände µ............................................................ 91 Tabelle 7: Transitionsmatrix .................................................................................................... 93 Tabelle 8: Übergangsmatrix für den Parameter „Durchschnitt einer Szene (DS)“.................. 94 Tabelle 9: Übergangsmatrix für den Parameter 1 Minutendurchschnitt (D1M) ...................... 95 Tabelle 10: Übergangsmatrix für den Parameter Durchschnitt einer Szene (DS) ................... 95 Tabelle 11: Übergangsmatrix für den Parameter gesamte Trainingssitzung (Baseline) .......... 96 Tabelle 12: Beispiel einer Übergangsmatrix für das gesamte HMM....................................... 97 Tabelle 13: Tabelle zur Entscheidungsunterstützung............................................................. 102 Tabelle 14: Darstellung der Microsoft Agenten-Hierarchie, Funktionen und Eigenschaften 108 Tabelle 15: Einige Animationen des Agenten Merlin............................................................ 109 Tabelle 16: Trainingablaufprotokoll ...................................................................................... 119 Tabelle 17: Tabelle 17: Plan der Untersuchung an der Gutenbergschule .............................. 126 Tabelle 18: Trainingsdaten..................................................................................................... 159 Tabelle 19: Messungsprotokoll .............................................................................................. 167

Abkürzungen HCI

: Human-Computer Interaction

HMM

: Hidden Markov Modell

KI

: Künstliche Intelligenz

MM

: Markov Modell

MMS

: Mensch-Maschine-Schnittstelle

SIA

: Sozial Intelligente Interface Agenten

TAPA

: Training by Animated Pedagogical Agents

MS IE

: Microsoft Internet Explorer

1 Einleitung

14

1 Einleitung Computersysteme sind in alle Bereiche des modernen Lebens eingedrungen und bieten vielfältige Unterstützung, Probleme des Alltags zu bewältigen und Lösungen für die Zukunft zu planen. Für diese Computersysteme stellt die Mensch-Maschine-Schnittstelle (MMS) eine kritische Komponente für Effizienz und Akzeptanz dar. Wesentlich für eine erfolgreiche Kommunikation zwischen System und Nutzern ist die Gestaltung der Interaktion über die MMS. Die Interaktion kann durch Adaption an das Nutzerverhalten flexibel angepasst werden, wie z.B. durch • die Ausgabe von Hilfeangeboten bei hoher Zahl von Fehleingaben eines Nutzers • die Nutzung von verschiedenen Modalitäten wie Text, Sprachein-/ausgabe usw. • die Anpassungen der Schwierigkeitsstufe, z.B. von Lernaufgaben, an den aktuellen Wissensstand eines Nutzers. In der zwischenmenschlichen Kommunikation ist neben Inhalt die „emotionale Intelligenz“ von großer Bedeutung, die das Verstehen und Ausdrücken von Gefühlen auch auf nonverbaler Ebene beinhaltet [Goleman 1995]. Rosalind Picard schriebt in diesem Zusammenhang: „Wenn die emotionale Intelligenz in der zwischenmenschlichen Kommunikation fehlt, dann wird die Kommunikation als langweilig und ineffizient empfunden„ [Picard 1997]. Bei emotionalen Computersystemen geht es primär um die Frage, wie es dem Computersystem möglich wird, Erregungszustände von Nutzern zu erkennen, um dann eine „intelligente“ MMS durch Simulation von Emotionen zu realisieren. Ein so kombiniertes System, das sowohl Erregungszustände des Nutzers erkennt als auch Emotionen durch Sozial Intelligente Agenten (SIAs) simuliert, wird in dieser Arbeit als emotionales Computersystem bezeichnet. Solche Systeme werden auch affektive Computersysteme genannt. Der Begriff affektive Computersysteme wurde von Rosalind Picard, Leiterin der Gruppe „Affective Computing“ am MIT, geprägt [Picard 1997].

Die Erkenntnisse aus der zwischenmenschlichen Kommunikation können zur Verbesserung der Interaktion in „emotionalen Computersystemen“ genutzt werden. Da Computer jedoch weder Gefühlsäußerungen von Nutzern verstehen oder direkt aufnehmen, noch Emotionen äußern können, müssen zur Gestaltung „emotionaler“ Dialoge Erregungszustände des Nutzers

1 Einleitung

15

erkannt und entsprechende Gefühlsäußerungen wie z.B. aufmunternde Gesten vom Computersystem simuliert werden. Um Emotionen durch Computer simulieren zu können, werden hauptsächlich Interface Agenten (SIAs) eingesetzt, die „emotionale Ausdrucksfähigkeiten“ besitzen. SIAs treten meist in Form animierter Figuren auf, die den Nutzern, neben verbalem Feedback auch „emotionale“ Informationen durch nonverbales Feedback z.B. in Form von Mimik und Gestik geben [Dautenhahn 2002]. In Abbildung 1 werden zwei Zustände eines emotionalen Computersystems dargestellt. Die unterschiedlichen Bildschirminhalte sind als Ergebnis von Adaptionen aufgrund unterschiedlicher Erregungszustände eines Nutzers zustande gekommen. Auf dem linken Bildschirm wird der Sachverhalt verdeutlicht: Abhängig vom Erregungszustand werden Inhalt und Darstellung angepasst. Der linke Bildschirm zeigt den Lern-Inhalt bei positivem Erregungszustand des Nutzers. Der Schwerpunkt der Darstellung liegt auf Wissensvermittlung. Bei negativem Erregungszustand erfolgt eine Adaption in der Darstellung, wie auf dem rechten Bildschirm angezeigt ist. Der Schwerpunkt liegt auf der Motivationssteigerung durch SIAs. Ein auf diesem Prinzip aufgebautes Trainingssystem würde dann immer zwischen beiden Zuständen abhängig vom Erregungszustand des Nutzers hin und her wechseln.

Abbildung 1: Darstellung von zwei Zuständen eines emotionalen Computersystems

1.1 Aufbau der Arbeit

16

Einsatzgebiete für emotionale Computersysteme stellen die klassischen Anwendungsdomänen wie z.B. E-Learning Systeme dar, aber auch aufkommende Gebiete der Informatik wie z.B. „ubiquitous computing“. Darin kommt es auf intuitive multimodale Schnittstellen an, die sich der dynamischen Nutzerumgebung anpassen können [Weiser 1991], [Winograd 2001]. Weiter sollten Erregungszustände des Nutzers erkannt und eine robuste Dialogfähigkeit in solchen Systemen realisiert werden. Therapeutische Systeme als eine Spezialform von Trainingssystemen versprechen eine der wichtigsten Einsatzdomänen für emotionale Computersysteme zu werden, da die Qualität dieser Systeme stark davon abhängt, inwieweit die Nutzerschnittstelle sich dem Erregungszustand des Nutzers anpassen kann. Insbesondere lernbehinderte Nutzer profitieren beim Lernen von der emotionalen Komponente eines solchen Systems [Klein 2003]. Das im Rahmen dieser Arbeit entwickelte therapeutische System TAPA (Training by Animated Pedagogical Agents) dient zur Evaluation der in dieser Arbeit konstruierten Architektur. TAPA soll lernbehinderten Kindern das Erlernen von Lernstrategien ermöglichen. Dieses dient der Steigerung der Gedächtnisleistung der Nutzer und der Verbesserung ihrer Metagedächtnisleistung. In Abbildung 2 wird eine Szene aus TAPA gezeigt, in der mehrere SIAs involviert sind. Die SIAs zeigen dem Nutzer verschiedene Gegenstände, die der Nutzer dann auswendig lernen soll.

Abbildung 2: Eine Szene aus TAPA

1 Einleitung

1.1

17

Aufbau der Arbeit

Diese Arbeit fußt auf zwei Eckpfeilern: • Einer Architektur, die als Vorgehensweise zur Konstruktion von adaptiven emotionalen Computersystemen dient. Diese Architektur unterstützt die Integration von multimodalen MMS und integriert die Erkennung des Erregungszustandes von Nutzern basierend auf non-invasiven Biofeedbacksensoren. • Der Entwicklung eines konkreten emotionalen Systems (TAPA) zur Validierung der entworfenen Architektur. Die Ergebnisse zeigen die Zuverlässigkeit des Systems und bilden einen entscheidenden Schritt in der Entwicklung emotionaler Computersysteme. Zum jetzigen Zeitpunkt ist TAPA das erste System seiner Art, das in der Praxis eingesetzt wird. Die Gliederung dieser Arbeit enthält drei Hauptteile, einen ersten, der die Einleitung und den theoretischen Teil inklusive Stand der Forschung in den Kapiteln 1 - 2 enthält, einen zweiten Teil in Kapitel 3 mit der Beschreibung einer flexiblen Architektur zur Konstruktion von emotionalen Computersystemen, und einen dritten praxisorientierten Teil mit der Darstellung des entwickelten Systems TAPA in den Kapiteln 4 - 6. In Kapitel 1 wird eine Einführung gegeben, die u. a. Problemstellung und Fokussierung der Arbeit, persönliche Motivation, sowie Definitionen der Grundbegriffe enthält. In Kapitel 2 werden die funktionalen Bausteine „emotionaler Computersysteme“ beschrieben und der Stand der Forschung bezüglich der verschiedenen Komponenten dargestellt. Dazu gehören: SIAs, Interaktion und Strategieauswahl in der MMS, Messung von Körpersignalen und andere Techniken, sowie Erkennung von Parametern, die Indikation über die emotionale Lage der Nutzer geben können. In Kapitel 3 wird die Architektur eines „emotionalen Computersystems“ entworfen und eine Vorgehensweise zur Entwurf und Aufbau der einzelnen Systemkomponenten erklärt sowie das Modell zur Erklärung und Erkennung von Erregungszuständen der Nutzer vorgestellt. In Kapitel 4 werden Konzeption und Grundlagen für ein reales „emotionales Computersystem“ dargestellt. In Kapitel 5 werden Realisierung des Systems sowie die entwickelten Algorithmen und Modelle erläutert, die dem therapeutischen Trainingssystem für lernbehinderte Kinder, TAPA zugrunde liegen. In Kapitel 6 werden alle Evaluationsrunden und deren Ergebnisse dargestellt.

18

1.1 Aufbau der Arbeit

In Kapitel 7 wird eine Zusammenfassung der Arbeit, der Evaluation und deren Ergebnisse gegeben, sowie ein Ausblick auf offene Forschungsfragen und weitere Aspekte der Forschung bezüglich der benutzten Systemkomponenten. In den Anhängen I, II werden ausgewählte Szenen aus TAPA und die Mess- und Lernprotokolle von TAPA dargestellt.

1 Einleitung

19

1.2 Fragestellung In dieser Dissertation wird eine Architektur als ein Modell zur Umsetzung von emotionalen Computersystemen entworfen und evaluiert. Der Schwerpunkt dieser Architektur liegt auf dem Einsatz solcher Systeme im therapeutischen Kontext. Bei den Komponenten dieser Architektur stehen weniger psychologische Aspekte im Zentrum des Interesses, als vielmehr Aspekte aus Sicht der Informatik. Sie beziehen sich auf, Merkmale, Funktionen, Ziele und Einsatzformen emotionaler Computersysteme sowie ihre Potenziale. Daraus ergibt sich die folgende Forschungsfrage: Wie muss die Architektur eines emotionalen Computersystems konstruiert sein, um flexibel unterschiedliche Eingabegeräte, Auswertungsmethoden und Modalitäten der Mensch-Maschine-Schnittstelle (MMS) einsetzen zu können?

Die wesentlichen Herausforderungen, die aus der obigen Fragestellung abgeleitet werden können, bestehen in: • dem Erkennen und Interpretieren von Erregungszuständen aus gemessenen Körpersignalen der Nutzer • der Simulation adäquater Gefühlsäußerungen auf Basis eines geeigneten „emotionalen Modells“ • der Integration in Anwendungsdomänen • der Evaluation emotionaler Computersysteme. Bis jetzt wurden zur Anpassung von Informationssystemen an die Bedürfnisse von Nutzern, Parameter wie die Performanz des Nutzers, sein Wissensstand oder seine Antwortzeitlatenz berücksichtigt [Marsella 2002]. Mit der Berücksichtigung des Erregungszustandes von Nutzern, findet eine weitere Dimension Eingang in die Anpassung der MMS.

1.3 Definitionen und Annäherung an emotionale Computersysteme

20

1.3

Definitionen und Annäherung an emotionale Computersysteme

Eine große Inspiration für die Forschung im Bereich emotionaler Computersysteme kommt aus den Arbeiten von Antonio Damasio. Er hat herausgefunden, dass Patienten mit Schädigungen der Amygdala (siehe Abbildung 3), dem Zentrum zur Verarbeitung von Emotionen im Gehirn, ihre Entscheidungen unflexibel nach einfachen Wenn-dann-Mustern treffen [Damasio 1994]. Da sie emotionale Ausdrücke von anderen Menschen nicht oder nicht richtig verstehen, wird die gesamte zwischenmenschliche Kommunikation erheblich gestört. So zeigte Damasio in seinen Arbeiten auf, dass Emotionen eine wichtige Komponente in der menschlichen Kommunikation darstellen, entgegen der Annahmen seit Jahrhunderten, die Emotionen als vernachlässigbare Komponente betrachteten oder ihnen gar negativen Einfluss auf die Kommunikation und rationales Denken zuschrieben [Damasio 1997] .

Abbildung 3: Position der Amygdala im Gehirn Bei der Kommunikation mit Computersystemen werden in heutigen Anwendungen Erregungszustände und Empfindungen der Nutzer nicht berücksichtigt, da diese Systeme Erregungszustände der Nutzer weder erkennen noch Emotionen simulieren können [Sloman 1987]. Aufbauend auf den Ergebnissen von Damasio wird angenommen, dass durch die Erkennung von Erregungszuständen des Nutzers die Mensch-Maschine Interaktion erheblich verbessert werden kann [Picard 1997] . An der Konstruktion von emotionalen Computersystemen sind verschiedene Aspekte der Informatik beteiligt, z.B. Signalerkennung, Nutzer- und Geräteprofil und MMS. In Abbildung 4 wird die Einordnung emotionaler Computersysteme in der Informationstechnologie dargestellt.

1 Einleitung

21

Abbildung 4: Einordnung emotionaler Computer Systeme in der Informationstechnologie Die sensorische Messung von Körpersignalen kann durch einzelne Sensoren oder unterschiedliche Kombinationen von Sensoren realisiert werden (siehe Kapitel 2.1). Bestimmende Faktoren für den Einsatz sind u. a. der Nutzungskontext und die Nutzergruppe, beispielsweise eignen sich optische Sensoren nicht für einen Kontext, in dem die Nutzer sich frei zwischen verschiedenen Räumen/Lokalitäten bewegen, akustische Sensoren sind nicht für einen Kontext geeignet, in dem laute Umgebungsgeräusche vorkommen. Um den Erregungszustand aus den Sensordaten zu ermitteln, werden Mustererkennung, Merkmalgewinnung und Verdichtung der Signaldaten eingesetzt (siehe Kapitel 2.1.4).

1.3 Definitionen und Annäherung an emotionale Computersysteme

22

1.3.1 Einordnung in der MMS Wie in Abbildung 4 dargestellt, sind emotionale Computersysteme der Mensch-MaschineSchnittstelle zu zuordnen. Im ACM SIGCHI Curricula for Human-Computer Interaction2 steht “ Human-computer interaction is a discipline concerned with the design, evaluation and Implementierung of interactive computing systems for human use and with the study of major phenomena surrounding them. ” In diesem Sinne beschreibt diese Arbeit wesentliche Bausteine, die eine MMS beinhaltet. Es wird die Integration der Erregungszustände in die MMS zum Zwecke der Adaption untersucht. Mit Adaption werden in diesem Zusammenhang u. a. Anpassungen in den Anwendungsdomänen und speziell in der MMS an den Erregungszustand des Nutzers bezeichnet. Andere Parameter können zusätzlich berücksichtigt werden, wie z.B. die Performanz der Nutzer (Nutzerprofil) oder die Fähigkeiten der genutzten Geräte (Geräteprofil). Diese Arbeit wird die in Abbildung 4 dargestellten Aspekte, soweit sie für die Konstruktion von emotionalen Computersystemen notwendig sind, erläutern und weitere für emotionale Computersysteme notwendige Merkmale definieren. Die Einordnung emotionaler Computersysteme in das Thema MMS beinhaltet gleichzeitig Relationen zu wichtigen Themengebieten der Informationstechnologie wie: • Interaktionsmodalitäten, die die Basis und die Art der Interaktion zwischen Nutzer und System beschreiben [Reichardt 2003] • Nutzer-/Geräteprofil mit Merkmalen des Nutzers und den Fähigkeiten des verwendeten Geräts, an denen sich eine adaptive MMS orientiert [Fischer 2001], [Myrhaug 2001], [Velasco&Mohamad 2002], [Velasco et al.. 2003]. In den folgenden Kapiteln 1.3.2 bis 1.3.4 werden Aspekte und Herausforderungen identifiziert, in den Bereichen Erkennung von Erregungszuständen, Simulation von Emotionen und Integration in Anwendungsdomänen. Die in dieser Arbeit beschriebene Architektur (siehe Kapitel 3) stellt eine mögliche Vorgehensweise dar, um Antworten auf diese Herausforderungen zu finden.

1.3.2 Erregungszustände der Nutzer Auch wenn es eine Vielzahl von verschiedenen psychologischen Ansätzen mit

2

http://sigchi.org/cdg/cdg2.html

1 Einleitung

23

variierenden Definitionen und Ausgangspunkten gibt, so lässt sich aber eine gemeinsame Basis im Grundverständnis feststellen. Demnach können Emotionen als ein komplexe Zustandsveränderung verstanden werden, die psychophysiologische Reize, Gefühle, kognitive Prozesse und Verhaltensweisen einschließen, welche in Reaktion auf eine Situation auftreten, die als persönlich bedeutsam wahrgenommen worden ist. Diese bezeichnet man dann zusammenfassend als Erregungszustand, der sich nach außen hin durch den emotionalen Ausdruck, die Orientierung am Erregungsobjekt sowie eine irgendwie geartete Verhaltensänderung auszeichnet [Fröhlich 1997], [Tessar 2001], [Zimbardo 1995]. Erregungszustände haben eine Intensität, sie beschreibt die Stärke der Erregung z.B. hoch erregt oder niedrig erregt, und eine Valenz, sie gibt an, ob die Erregung positiv oder negativ ist. Erregungszustände werden u. a. durch Orte, Situationen, Personen oder Erinnerungen ausgelöst und sind oft auf ein bestimmtes Objekt hin ausgerichtet (beispielsweise hohe negative Erregung oder hohe positive Erregung beim Erblicken einer bestimmten Person) [Schulz-vonThun 2004]. In dieser Arbeit wird die Erkennung der Erregungszustände anhand der Intensität und der Valenz dargestellt. Dabei ergibt sich je nach Definition und Auflösung der Intensität ein Vektor von Erregungszuständen z.B. bei einer Intensität (hoch und niedrig) ergeben sich die möglichen Vektoren (hoch erregt positiv, hoch erregt negativ, neutral, niedrig erregt positiv, niedrig erregt negativ), neutral steht dabei für eine Übergangszone zwischen den Zuständen. Die einzelnen Werte des Vektors werden als Erregungszustand bezeichnet. Menschen äußern und erkennen Gefühle auf vielfältige natürliche Weise, so z.B. durch Mimik, Sprache oder Körperhaltung. Die Erkennung von Erregungszuständen eines Nutzers durch den Computer ahmt zum Teil die Art nach, wie Menschen die Erkennung bewerkstelligen. Im Bereich der Erkennung von Erregungszuständen durch Computersysteme war in den letzten 20 Jahren die Mimikerkennung die am häufigsten eingesetzte Methode. Viele prominente Arbeiten auf diesem Gebiet basieren auf den Arbeiten von Ekman und Friesen. Deren Methoden wurden dann zur automatischen Erkennung von Erregungszuständen aus Gesichtsausdrücken weiterentwickelt [Ekmann & Friesen 1978]. Diese Methode ist stark kontext- und nutzergruppenabhängig, z. B. spielen Faktoren wie Lichtverhältnisse oder Sitzposition des Nutzers eine wesentliche Rolle. Weiter wurde die Erkennung von Erregungszuständen aus der Intonation der Stimme untersucht [Conati 2002a]. Die Ergebnisse zeigen, dass diese Methode wie die Mimikerkennung nur unter bestimmten Umständen anwendbar ist, so z.B. kann sie in Umgebungen mit Hintergrundgeräuschen nicht angewandt werden. Beide

24

1.3 Definitionen und Annäherung an emotionale Computersysteme

Erkennungsmethoden können vom Nutzer leicht manipuliert werden. Eine andere Möglichkeit, Erregungszustände automatisch zu erkennen, ist die Auswertung von Biosignalen des menschlichen Körpers [Conati 2002b] [Healey & Picard 1998]. Bei der Erkennung von Erregungszuständen durch Biosensoren haben sich zwei Forschungsgruppen in den USA besonders hervorgetan. Die Gruppe um Picard am MIT hat verschiedene Prototypen von Teilen emotionaler Computersysteme aufgebaut [MIT Affective Group 2004]. Bei den am MIT laufenden Projekten im Bereich der emotionalen Computersysteme liegt der Fokus auf der Erkennung der Erregungszustände und weniger auf der Integration in die MMS. Es wird über viel versprechende Ergebnisse berichtet, insbesondere im Bereich des „Wearable Computing“, einer Art „intelligenter“ Kleidung, die mit Prozessoren versehenen Kleidungsstücken die Kommunikation mit Computersystemen erlaubt [Gandy 2003]. Ein zweites Projekt ist am IBM Forschungszentrum Almaden angesiedelt, wo im Projekt „BlueEyes“ der Prototyp einer so genannten „emotional mouse“ entwickelt wurde. Die mit Biosensoren bestückte Computermaus übermittelt fortlaufend Körpersignale des Nutzers an das System [IBM Emotion Research Groupe 2004]. Die genannten Projekte haben ihren Schwerpunkt in der Erkennung von Erregungszuständen unter Laborbedingungen gesetzt. Die Nutzung der erkannten Erregungszustände in Anwendungsdomänen sowie in der MMS wurden nur wenig beachtet. Eine ausführliche Darstellung der Eingabegeräte für die Erkennung von Erregungszuständen wird in den Kapiteln 2.1.1 bis Kapitel 2.1.3 gegeben. Die Ergebnisse aus den Veröffentlichungen und Forschungsarbeiten haben ergeben: • Es ist grundsätzlich möglich aus Sensorsignalen auf Erregungszustände zu schließen. • Es gibt noch viele offene Fragen in diesem Bereich, da es nur wenige experimentelle Systeme gibt und nur wenige Komponenten im praktischen Einsatz erprobt wurden. Es müssen noch Probleme gelöst werden, beispielsweise die Entwicklung von adäquaten Erkennungsalgorithmen. Es müssen auch Komponenten optimiert werden z.B. Simulation der Emotionen in den SIAs, bevor wirklich einsatzfähige emotionale Computersysteme aufgebaut werden können. Darüber hinaus wurden in den genannten Forschungsprojekten nur eine geringe Anzahl von Nutzern aber keine signifikant großen Nutzerzahlen einbezogen. Im Bereich der Erkennung von Erregungszuständen von Nutzern ergeben sich somit weiter einige Herausforderungen, die bei der Konstruktion einer Architektur emotionaler Computersysteme berücksichtigt werden müssen: • Kombination unterschiedlicher Sensoren (z.B. optische Sensoren und Bilderkennungsmethoden, akustische Sensoren oder Biosensoren)

1 Einleitung

25

• Aufschlüsselung verschiedener Detaillierungsebenen der Erkennung von Erregungszuständen • Inhärente Unsicherheit der Information. Z. B. können bei Informationen vom Sensor Störungen durch unterschiedliche Einflüsse auftreten. • Unvollständigkeit der Information. Z. B. können durch Fehlmessungen oder deplazierte Sensoren unvollständige Informationen auftreten. In diesen Fällen werden fehlende Informationen durch Annahmen ersetzt. Dadurch werden alle Schlussfolgerungen, die auf dieser Annahme basieren, unsicher. • Klärung der Zusammenfassung von Informationen aus mehreren Quellen: Die Kombination von direkten Informationen aus unterschiedlichen Sensoren erhöht zwar die Sicherheit der gewonnen Aussagen, bedeutet aber größeren Aufwand bei der Integration und Aggregation der Informationen.

1.3.3 Simulation von Emotionen Um „emotionale Kommunikation“ zu realisieren, muss das System die Fähigkeit besitzen, Emotionen simulieren zu können unter Berücksichtigung des Erregungszustandes des Nutzers. Dieser Aspekt wird hauptsächlich mit Interface Agenten realisiert. Es konnte gezeigt werden, dass die Qualität der Interaktion im Hinblick auf Nutzerfreundlichkeit und Steigerung der Nutzermotivation durch den Einsatz von SIAs verbessert werden kann [Conati 2002c]. Das Hauptmerkmal von SIAs ist, dass sie menschenähnliche soziale Verhaltensweisen simulieren können [Bates 1994], [Dautenhahn 1998]. Eine detaillierte Darstellung von SIAs wird in Kapitel 2.2 gegeben. Der Schwerpunkt bisheriger Projekte lag auf der Darstellung, Glaubwürdigkeit und Modellierung von SIAs [Prendinger 2001b], [André & Riest 2000], [Ruebenstrunk 2001]. Eine Berücksichtigung der Erregungszustände von Nutzern für das Verhalten der SIAs fand dagegen wenig Beachtung. Die Simulation von Emotionen durch ein Computersystem kann nach heutigem Wissensstand durch SIAs realisiert werden, dabei muss ein entsprechendes emotionales Modell zugrunde gelegt werden [Bates 1992a], [Bates 1992b]. Für diese Aufgabe eignet sich am besten eines der bereits bekannten Modelle aus der emotionalen Psychologie, eine Darstellung wird in Kapitel 2.2.2 gegeben. Es ergeben sich hier weitere Herausforderungen, die bei der Konstruktion der Architektur eines emotionalen Computersystems berücksichtigt werden müssen:

1.3 Definitionen und Annäherung an emotionale Computersysteme

26

• Einsatz verschiedener Techniken und Methoden, um eine emotionale multimodale Interaktion zwischen System und Nutzern zu realisieren, dazu gehören beispielsweise Sprachein-/ausgabe oder Touchscreentechnologie • Einbeziehung von Adaptivität: Berücksichtigung eines Geräte/Nutzerprofils und eines Interaktionsmodells, um die automatische Anpassung des Verhaltens der SIAs an den Erregungszustand der Nutzer zu verbessern • Integration in therapeutischen Systemen: Demonstration, dass sich SIAs in emotionalen Computersystemen auch für den Einsatz in therapeutischen Computersystemen wie TAPA (siehe Kapitel 4) eignen, es sollen darin motivationspsychologische und leistungsbezogene Trainingsmethoden und -prinzipien berücksichtigt werden, so dass das System motivierend wirkt und eine schnelle Intervention erlaubt.

1.3.4 Domänenintegration und ihre Evaluation Die Integration in eine Anwendungsdomäne beinhaltet den Aufbau einer entsprechenden Interaktion und die Simulation von Emotionen über die Nutzerschnittstelle durch die SIAs. Dabei bedarf es einer genauen Evaluation, um die Ergebnisse der Nutzertests zu verifizieren und die Architektur sowie die entwickelten Algorithmen zur Erkennung der Erregungszustände zu überprüfen und zu verfeinern. Das im Rahmen dieser Arbeit entwickelte Trainingssystem für lernbehinderte Kinder enthält als zentrale Komponente die Vermittlung strategischer Fähigkeiten, da bei lernbehinderten Kindern und Jugendlichen genau im Bereich der Strategieanwendung meist erhebliche Defizite vorliegen. Dazu werden Aufgaben angeboten, die das kategoriale Organisieren trainieren: Um sich eine Anzahl von Objekten besser merken zu können, sollen die Objekte in verschiedenen Gruppen sortiert und dieses Gruppieren später als Strategie zum Merken von Objekten eingesetzt werden (siehe Kapitel 4). Die Evaluation des Systems muss belegen, ob durch das Trainingssystem Verbesserungen folgender Art erreicht werden können: • Förderung des kategorialen Organisierens • Steigerung der Gedächtnisleistung • Steigerung der Metagedächtnisleistung.

1 Einleitung

1.4

27

Persönliche Motivation

Die vorliegende Forschungsarbeit wurde im Jahr 1999 initiiert durch ein Projekt an der Universitätskinderklinik Bonn, in dem es darum ging therapeutische Systeme zu entwickeln, die sich der Motivationslage von Kindern anpassen und diese positiv beeinflussen können. Dabei sollten emotionale Elemente integriert werden. Auf der Suche nach einer Lösung habe ich mich intensiv mit Interface Agenten beschäftigt und darauf basierend erste therapeutische Systeme entwickelt [Tebarth et al. 2000]. Eine wichtige Anforderung für ein effizientes System ist, dass es sich anhand des Wissensstandes eines Kindes automatisch anpassen kann (Adaptivität). Die wichtigste Anforderung an das zu entwickelnde System war, dass das System die Motivation des Nutzers steigert und die Aufmerksamkeit auf die aktuelle Aufgabe lenkt [Mohamad & Tebarth 2001]. Für diese Arbeit bedurfte es einer interdisziplinären Zusammenarbeit, um eine wirkliche Weiterentwicklung auf diesem Gebiet zu erzielen. Durch meine Arbeit an der Universitätskinderklinik Bonn und später am Fraunhofer Institut (FIT) war es möglich, dieses Zusammenwirken verschiedener Disziplinen (Informatik, Psychologie und Medizin) aufzubauen. Die interdisziplinäre Zusammenarbeit hat dazu beigetragen, die Fragen zu formulieren, die Modelle zu parametrisieren und vor allem die Evaluation durchzuführen und zu unterstützen.

1.5

Bemerkungen zur Sprache

In dieser Dissertation werden, soweit möglich und sinnvoll, geschlechtsneutrale Begriffe benutzt. Zugunsten einer flüssigen und leicht lesbaren Sprache wurde darauf verzichtet, durchgehend auch weibliche Formen zu bilden. Weibliche Personen sind bei den Formulierungen aber stets mit eingeschlossen, es sei denn, es ist explizit das männliche Geschlecht gemeint. Geht es in dieser Arbeit um Nutzer, wird der Begriff „Erregungszustand“ verwendet, da es den Sachverhalt besser wiedergibt, denn es werden die Erregungszustände erkannt (positiv hoch, negativ hoch, neutral, positiv niedrig, negativ niedrig) und nicht die einzelnen Emotionen wie Freude, Trauer, Angst usw.. Geht es um SIAs, wird von „Simulation von Emotionen“ gesprochen. Damit ist stets eine Simulation von Emotionen durch die SIAs gemeint. Ich möchte hier betonen, dass mit der Verwendung des Begriffes „emotionale Computersysteme“ in der gesamten Arbeit immer künstliche Emotionen gemeint sind, die nur einige wenige Merkmale menschlicher Emotionen nachahmen oder simulieren können.

2.1 Basistechnologien zur Erkennung von Erregungszuständen

28

2 Komponenten von emotionalen Computersystemen In Abbildung 5 werden die Hauptkomponenten emotionaler Computersysteme dargestellt. Dabei werden die Komponenten und ihre Funktionen aufgeführt, die die Grundlage zu Konstruktion und Aufbau einer Architektur eines emotionalen Computersystems bilden. Diese Architektur wird dann ausführlich in Kapitel 3 beschrieben. Weiterhin werden in diesem Kapitel die einzelnen Komponenten, ihre Begrifflichkeiten sowie der Stand der Forschung zur jeweiligen Komponente dargestellt.

Abbildung 5: Funktionale Bausteine von emotionalen Computersystemen In der Abbildung 5 ist die Aufteilung in zwei Ebenen erkennbar. Die untere Ebene stellt die Grundlage für die Erkennung des Erregungszustandes dar. Die obere Ebene beinhaltet Aspekte, die für das Simulieren von Emotionen wichtig sind.

2.1

Basistechnologien zur Erkennung von Erregungszuständen

Tastatur und Maus als klassische Sensoren eines Computers, sind nicht geeignet, ohne weiteres, Informationen über den Erregungszustand aufzunehmen. Dafür benötigt der Computer eine neue Klasse von Eingabegeräten. Zur Erfassung des Erregungszustandes von Nutzern durch den Computer können verschiede-

2 Komponenten von emotionalen Computersystemen

ne Sensorarten eingesetzt werden. Sensoren reagieren zum Beispiel auf Mimik, Stimmenintonation, Blutdruck, elektrische Hautleitfähigkeit, Pulsschlag, Hirnströme (EEG) oder aber Fingertemperatur. Im Gegensatz zu heutigen Prototypen dieser Sensoren sollen die serienreifen Modelle möglichst drahtlos funktionieren und den Träger nicht behindern oder einschränken. Die Schwierigkeit bei einigen Messverfahren (z.B. solche, die auf optischen oder akustischen Sensoren basieren) besteht darin, dass man schwer zwischen echten und gespielten Erregungszuständen unterscheiden kann. Menschen können ihre Emotionen verbergen oder bewusst verändern wie z.B. bei der Mimik. Diese Problematik kann durch Biosensoren überwunden werden, denn Biosensoren können Signale messen, die überwiegend nicht willkürlich verändert werden können. Über den Einsatz von Sensoren für die Erkennung von Erregungszuständen unter Laborbedingungen wurde in den letzten Jahren in einigen Projekten berichtet, z.B. bezüglich der Erkennung von Angstzuständen bei Autofahrern [Healey 2000] und bei Piloten von [Hudlicka 2002]. In beiden Projekten wurden Biosensoren eingesetzt. Die wichtigste Erkenntnis war, dass es durch den Einsatz von geeigneten Sensoren und Erkennungsmethoden möglich ist, aus den Signalen auf die Erregungszustände sicher schließen zu können. So hat Scheirer Sensoren für die Erkennung von Frustrationszuständen bei Nutzern unter Laborbedingungen erfolgreich eingesetzt [Scheirer et al. 2001], [Scheirer et al. 2002]. Picard, Vyzas und Healey am MIT führten Versuche zur Erkennung von Veränderungen der Erregungszustände bei einer Schauspielerin in einem eigens für die Studie gespielten Szenario durch [Vyzas & Picard 1999]. Laut den Ergebnissen konnten bis zu sechs verschiedenen Erregungszuständen erkannt werden. Diese Projekte leisteten Pionierarbeit in der Erkennung von Erregungszuständen eines Nutzers durch Computersysteme. Eine weitere wichtige Erkenntnis aus diesen Projekten war, dass die Erregungszustände einer Person eine hohe Instabilität aufweisen, d.h. die gemessenen Signale an verschiedenen Tagen sind unter gleichen Bedingungen unterschiedlich. So lieferte die Messung der Hautleitfähigkeit an einem Tag Werte im Bereich 1.5 bis 5 MicroMho zurück, während sie am nächsten Tag zwischen 3 bis 6 MicroMho betrug. Im Folgenden werden die bekanntesten Sensorarten beschrieben, die zur Erkennung von Erregungszuständen angewandt werden und zur Konstruktion emotionaler Computersysteme beitragen können.

2.1.1 Systeme auf Basis von optischen Sensoren Erkennung von Erregungszuständen aus Gesichtszügen (Mimik), gehört zu den wichtigsten menschlichen Fähigkeiten und ist Teil der alltäglichen unbewussten Aktionen von Menschen. Mit optischen Sensoren (z.B. Kameras) kann ein Computer mit Hilfe von Bilderkennungs-

29

2.1 Basistechnologien zur Erkennung von Erregungszuständen

30

software den Gesichtsausdruck oder die Bewegungsabläufe des Nutzers erkennen und daraus auf dessen Erregungszustand schließen [Ekmann & Friesen 1978]. Die Mimikerkennung bzw. Erkennung des Erregungszustandes aus Gesichtszügen durch ein Computersystem ist noch ein evolvierendes Forschungsfeld. Die Diskussion um die Einführung biometrischer Merkmale hat diesem Gebiet in letzter Zeit weiteren Auftrieb gegeben. In der Mimikerkennung wird auf Grundlage von Video- und Fotoaufnahmen eine Einstufung in Kategorien von Erregungszuständen und eine Aufteilung nach Kriterien wie Intensität und Dauer vorgenommen. Das von Ekman entwickelte „Facial Action Coding System“, FACS3 beschreibt das gesamte mimische Verhalten auf anatomischer Grundlage (siehe Abbildung 6). Das Computersystem kann dann 44 Gesichtsbewegungen einzeln oder in Gruppen beurteilen. Dieses Schema bildet die Grundlage für viele Computersysteme in diesem Bereich.

Abbildung 6: Muskelgruppen in FACS3 Erkennung der Erregungszustände aus der Augenbewegung ist eine andere Methode, die auf optischen Sensoren basiert. Hierfür werden Blickregistrierkameras eingesetzt, die die gespiegelte Reflexion eines Infrarotstrahls auf die weiße Haut des Augapfels rekonstruieren und auswerten. Aus dem Bewegungsmuster wird dann auf den Erregungszustand des Nutzers geschlossen. Darüber hinaus können optische Sensoren eingesetzt werden, um Hand-, Kopfoder Ganzkörperbewegungen zu verfolgen, zu analysieren und auf Erregungszustände zu schließen. Optische Sensoren sind für die Erkennung von Erregungszuständen, die am meisten erforschte Sensorart. Dabei hängt die Güte der Erkennung u. a. von der Qualität der Aufnahmen, den Lichtverhältnissen und Kontrast und Präzision ab. Diese Methode eignet sich nur für Anwendungskontexte, wo alle genannten Parameter bestimmte Qualität aufweisen können und in denen die Einhaltung einer bestimmten Sitz/Steh-Position möglich ist.

3

http://face-and-emotion.com/dataface/facs/description.jsp

2 Komponenten von emotionalen Computersystemen

31

2.1.2 Systeme auf Basis von akustischen Sensoren Erkennung menschlicher Erregungszustände aus gesprochener Sprache ist eine weitere Fähigkeit, die Menschen besitzen und unbewusst einsetzen. HE-

HE+

Neutral

NE-

NE+

Geschwindigkeit

Leicht schneller

Schneller oder Langsamer

Leicht langsamer

viel schneller

sehr viel schneller

Tonlage

sehr viel höher

viel höher

leicht tiefer

sehr viel höher

sehr viel tiefer

Tonvariation

viel breiter

viel breiter

leicht schmaler

viel breiter

leicht breiter

Aussprache

angespannt

normal

Deutlich

exakt

normal

Intensität

Höher

Höher

Mittel

normal

Tiefer

Tabelle 1: Stimmmerkmale und Erregungszustände (HE-: negative hoch erregt, HE+: positiv hoch erregt, NE+: niedrig erregt positiv, NE-: niedrig erregt negativ)

Die Analyse der gesprochenen Sprache zur Erkennung von Erregungszuständen ist ebenfalls ein evolvierendes Forschungsfeld. Dabei gibt es drei Aspekte, die erkannt werden können: Der Inhalt, die Betonung und die Sprachqualität, wobei sich Betonung und Sprachqualität zur akustischen Information zusammenfassen lassen. Bei der akustischen Information nutzt man aus, dass sich Sprachqualität und Betonung bei verschiedenen Erregungszuständen ändern, wie in Tabelle 1 für verschiedene Aspekte der Sprachqualität aufgezeigt ist [von Sebastian et al. 2004]. Aus der Tabelle ist zu erkennen, dass die Messung mehrerer Merkmale nötig ist, um Erregungszustände sicher voneinander abgrenzen zu können, da sich zum Beispiel die sehr unterschiedlichen Erregungszustände wie HE- und HE+ beide in höherer Tonlage und schnellerem Sprechen äußern können. Die Erkennung basiert auf verschiedene Merkmale, die aus Stimmlage und Sprechart analysiert werden, daraus werden Hinweise auf Erregungszustände der Nutzer abgeleitet. Auch der Sprachinhalt kann Hinweise auf Erregungszustände liefern, denn die Wortwahl lässt manchmal Rückschlüsse auf momentane Erregungszustände zu [Cassell 2000], [Batliner & Wahlster 2000]. Das Gottschalk-Gleser-Verfahren wird eingesetzt, um den Zusammenhang zwischen Sprachinhalt und Erregungszuständen des Nutzers zu untersuchen [Gottschalk & Gleser 1999]. Eine sog. Sprachinhaltsanalyse wird für die Untersuchung der gesprochenen oder geschriebenen Sprache benutzt. Man kann feststellen, wie oft jemand bestimmte Emotionswörter verwendet,

2.1 Basistechnologien zur Erkennung von Erregungszuständen

32

und dadurch etwas über den dahinter liegenden Erregungszustand erfahren. Die Proben können unter standardisierten Bedingungen erhoben werden, aber es ist auch möglich, freie sprachliche Äußerungen damit zu analysieren. Durch das Gottschalk-Gleser-Verfahren kann ein Computersystem aus Sprachproben die Intensität verschiedener Erregungszustände des Sprechers erkennen. Eine wichtige Erkenntnis auf diesem Gebiet ist, dass es keine allgemeingültige Methode existiert, um Erregungszustände aus akustischen Sensoren zu erkennen. Die Erkennung hängt sehr stark von der Zielsetzung und der genutzten Umgebung ab, so z. B. wäre der Einsatz von Sprachinhaltanalyse nur bei Systemen denkbar, wo der Nutzer mit dem System über Spracheingabe kommuniziert. Die Erkennung der Erregungszustände aus der Intonation der Stimme würde nur in Umgebungen ohne starke Hintergrundgeräusche funktionieren. Es bestehen bei der Erkennung noch viele Probleme, wie die Sprechfähigkeiten, die Sprachkenntnisse, Akzent, kulturelle und soziale Unterschiede. Alle Methoden der Erkennung in diesem Bereich sind sehr stark personen- und umgebungsabhängig. Für jede Person müssen aufwendige Trainings- und Lernphasen des Systems durchgeführt werden. Die am meisten eingesetzte stochastische Methode zur Erkennung der Erregungszustände aus der Intonation der Stimme oder der Sprache sind die Hidden Markov Modelle [Conati 2002b].

2.1.3 Systeme auf Basis von Biosensoren Die Erfassung und Rückmeldung von Körperfunktionen und die Messung von biologischen Prozessen, die in unserem Körper ständig ablaufen, ist seit langer Zeit in den Bereichen Medizin und Sport üblich. Sie dient der Zustandsbeschreibung unseres Organismus und kann uns Aufschluss über die Funktionen unserer Organe geben. Messbare Kennwerte unserer Körperfunktionen wie die Pulsfrequenz, die Körpertemperatur oder das EKG werden auch Biosignale genannt [Bruns & Praun 2002], [MindMedia 2004]. Es gibt unterschiedliche Sensoren, um Biosignale zu messen. Im Folgenden werden die wichtigsten Sensorarten für die Erkennung von Erregungszuständen aufgeführt. • Temperatursensoren: Diese Sensorart misst Veränderungen der Körpertemperatur [MIT Affective Group 2004], [IBM Emotion Research Groupe 2004] • Blutdruck- /Pulssensoren (BVP): Diese Sensorart misst die Pulsfrequenz und ggf. zusätzlich den Blutdruck [Conati 2002c] • Respiration (Atmung) Sensoren: Diese Sensorart misst die Atemgeschwindigkeit und das Atemvolumen [MIT Affective Group 2004], [Zhou & Conati 2003]

2 Komponenten von emotionalen Computersystemen

• Electromyogramsensoren (EMS): Diese Sensorart misst schwach elektrische Ströme, die entstehen, wenn sich ein Muskel zusammenzieht. Je stärker er sich zusammenzieht, desto stärker ist der Strom [MIT Affective Group 2004]. Man kann z.B. zur Messung der Spannung der Muskeln am Gesicht EMS benutzen, um die elektrischen Aktionspotentiale von Muskeln über die Hautoberfläche zu messen [Zhou & Conati 2003] • Hautleitfähigkeitsensoren (GSR): Diese Sensorart misst die elektrische Leitfähigkeit der Haut (Hautleitwert). Die Hautleitfähigkeit wird in erster Linie von der Aktivität der Schweißdrüsen beeinflusst. Wird Schweiß produziert, steigt die Fähigkeit der Haut als Stromleiter zu fungieren und dementsprechend auch der Hautleitwert an [Bruns & Praun 2002], [MIT Affective Group 2004], [Zhou & Conati 2003], [IBM Emotion Research Groupe 2004]. Versuche haben gezeigt, dass drei Kennwerte aus diesem Sensor ermittelt werden können, nämlich die Hautleitfähigkeit, ihre Intensität und die Varianz des Signals, die als die Valenz (positiv, angenehm oder negativ, unangenehm) interpretiert werden kann [van Oyen et al. 1995], [MindMedia 2004], [Mohamad et al. 2003]. Dabei werden zwei Klettbänder an die Finger angebracht. • Elektroenzephalogrammssensoren (EEG: Hirnaktivität): Diese Sensorart misst die elektrische Hirnaktivität. Im Projekt BBCI „Brain Computer Interface“ [Berlin BrainComputer Interface 2004] nutzt man die elektrische Hirnaktivität in Form des Elektroenzephalogramms (EEG) (siehe Abbildung 7). An der Kopfhaut angebrachte Elektroden messen die hirnelektrischen Signale. Diese werden verstärkt und an den Computer übermittelt, er leitet diese Gehirnsignale an Systeme zur Erkennung von Mustern weiter und wandelt sie in technische Steuerungssignale um. Das Funktionsprinzip basiert darauf, dass die Hirnaktivität bereits die rein gedankliche Vorstellung eines Verhaltens widerspiegelt, zum Beispiel die Vorstellung, eine Hand oder einen Fuß zu bewegen [Müller 2000]. Diese Sensorart eignet sich im Moment für die Erkennung von Erregungszuständen nur bedingt und nur unter aufwendigen Laborbedingungen, da viele Elektroden von einem Fachmann am Kopf befestigt werden müssen. Die Erkennungsmethoden und die entsprechenden Erkennungsraten sind nur bedingt zuverlässig.

33

34

2.1 Basistechnologien zur Erkennung von Erregungszuständen

Abbildung 7: Foto vom BBCI Projekt [Müller 2000]

2.1.4 Erfassung und Auswertung von Signalen Die durch Sensoren ermittelten Einzelmesswerte können selten zur direkten Erkennung des Erregungszustandes eines Nutzers dienen. Erst die Verarbeitung, Filterung und Verdichtung der Messwerte erlauben es, erste Aussagen (Trend) über den Erregungszustand des Nutzers zu treffen [Prendinger 2001b]. Um aus den gelieferten Signalen Informationen abzuleiten, die auf die Art des Erregungszustandes schließen lassen, muss die hohe Komplexität des zu interpretierenden Systems, des Menschen, berücksichtigt werden. Darüber hinaus müssen zeitliche Veränderungen, Nichtlinearitäten und die Individualität der Signale berücksichtigt werden. Die Verbindung von Methoden der Messdatenverarbeitung und der Mustererkennung bieten innovative Lösungen, um durch die Verarbeitung der Signale Aussagen über den Erregungszustand zu treffen. Ähnliche Ansätze der Mustererkennung von Zuständen über gemessene Signale existieren in vielen Bereichen, z.B. im Maschinenbau und der Elektrotechnik für die Überwachung von Maschinen und Motoren, um Fehlerzustände möglichst frühzeitig diagnostizieren zu können [Kolb 1998]. Im Bereich der MMS wurden Algorithmen und Systeme zur automatischen Erkennung verschiedener Interaktionsparameter entwickelt, um die Mensch-Maschine-Kommunikation zu optimieren [Conati 2002b], [Vyzas & Picard 1999], [Reynolds 2001], [Horvitz 2003]. Ausgangspunkt sind meistens stochastische Verfahren, die als Referenzen für die einzelnen Parameter dienen. Conati hat z. B. im Projekt „Prime Climb“ (siehe Kapitel 2.2.3.4) Algorithmen auf HMM-Basis entworfen, um aus Biosensoren auf den Erregungszustand schließen zu kön-

2 Komponenten von emotionalen Computersystemen

nen [Conati 2002b]. Im Rahmen des Forschungsprogramms Lumiere4 von Microsoft experimentierte Horvitz mit Algorithmen auf Basis Bayessischer Netzwerke, die es ermöglichen sollten über Eingangsparameter den Aufmerksamkeitszustand eines Nutzers zu bestimmen [Horvitz 2003]. Die Mustererkennung der Erregungszustände aus den in der Beobachtungsphase gewonnenen Daten unterliegt vielen Unsicherheitsfaktoren, z.B. Artefakten in den Sensordaten. Ein allgemein gültiger Algorithmus zur Mustererkennung existiert derzeit nicht, vielmehr bedarf es der Entwicklung von sensorenart-, domänen- und kontextspezifischen Algorithmen. Um trotz dieser Unsicherheitsfaktoren zu richtigen Schlussfolgerungen zu gelangen, werden unterschiedliche Methoden der Mustererkennung eingesetzt. Die Mustererkennung befasst sich mit der Entwicklung und dem Betrieb von Systemen, die Muster in Daten erkennen. Es gibt viele Arten von Mustern, z.B. visuelle, zeitliche, logische und spektrale Muster. Typische Aufgaben der Mustererkennung sind [Ney 2002]: • Definieren und Berechnen geeigneter Merkmale. In der Regel erfolgt dies kontextabhängig • Finden geeigneter Modelle und Strukturen • Definition geeigneter Trainingskriterien und -algorithmen für die Mustererkennung, um die freien Parameter aus einer Lernstichprobe zu schätzen • Suchproblem: Maximierung. Es gibt verschiedene Ansätze zur Mustererkennung, unter anderem [Marques 2001]: • Statistische Mustererkennung auf Basis stochastischer Verfahren • „Fuzzy“ Mustererkennung • Syntaktische oder strukturelle Mustererkennung, z.B. neuronale Netzwerke • Wissensbasierte Mustererkennung. Der statistische Ansatz sieht Mustererkennung als Klassifikationsaufgabe, d.h. als Zuordnung einer Kategorie zu den vorliegenden Eingangsdaten. Bedeutende Anwendungsgebiete sind die Sprach- und Bildverarbeitung, Schrifterkennung, Personenerkennung, industrielle Prüfverfahren und natürlich die Mensch-Maschine-Kommunikation [Marques 2001]. Es existieren verschiedene Implementierungen und Softwarebibliotheken, die verschiedene Algorithmen zur

4

http://research.microsoft.com/

35

2.1 Basistechnologien zur Erkennung von Erregungszuständen

36

Mustererkennung bereitstellen, wie z.B. Matlab und SIMULINK5. Durch die Bereitstellung von bereits vorgefertigten und getesteten Bausteinen unterstützen sie beim Aufbau von Computersystemen mit Funktionen der Mustererkennung. Bekannte Statistikprogramme wie z.B. SPSS6 oder Excel stellen einige stochastische Algorithmen und statistische Funktionen zur Verfügung. Im Folgenden werden die wichtigsten Verfahren der Mustererkennung und deren Einsatz zur Erkennung von Erregungszuständen kurz dargestellt:

2.1.4.1

Hidden-Markov-Modelle

Hidden-Markov-Modelle (HMM) sind als statistische Klassifikationsverfahren bekannt und haben sich als die leistungsfähigste Methode zur Verarbeitung dynamischer Muster wie Zeitreihen oder Sprachsignalen erwiesen. In der Sprachverarbeitung wurden beispielsweise HMM zur dominierenden Technik [Rabiner 1989]. Im Bereich der Signalverarbeitung und anderer Mustersequenzen wurden sie in letzter Zeit vermehrt genutzt. Erheblich seltener werden HMM im Multimediabereich eingesetzt, wenn, dann vorwiegend mit Fragestellungen der Bildverarbeitung und Computer Vision [Horvitz 2003]. In den letzten Jahren wuchs die Bedeutung dieses Anwendungsgebietes speziell für die Mensch-Maschine-Kommunikation [Horvitz 2003]. Deshalb wird die Eignung von HMM für alle Aufgaben der Mustererkennung in der MMS untersucht, wie etwa: • HMMs in der Sprachverarbeitung [Batliner & Wahlster 2000], [Haenelt 2002b], [Haenelt 2002a]. • HMMs zur Schrift-, Handschrift- und Formelerkennung [Chul Min & Narayanan 2004]. • Bildsequenzverarbeitung [Hudlicka 2002]. • Gestenerkennung [Trochim 2002], [Conati 2002b]. • Videoindexing mit HMM und stochastischen Videomodellen, [Rigol 1994]. • HMM-basierte audio-visuelle Inhaltsanalyse, [Rigol 1998], [Rigol 1999]. • HMM wurden auch zur Erkennung von Erregungszuständen durch Biosensoren eingesetzt [Fernandez & Picard 1998]. Fernandez berichtet über eine hohe Erkennungsrate der Erregungszustände bei einem Nutzer unter Laborbedingungen. In dieser Studie wurden Varianten von HMM benutzt. Zhou und Conati berichten auch über den Ein-

5 6

http://www.mathworks.com/ http://www.spss.com

2 Komponenten von emotionalen Computersystemen

satz von HMM zur Erkennung von Erregungszuständen in einem Prototyp eines Lernsystems (siehe Kapitel 2.2.3.4).

2.1.4.2

Bayessche Netzwerke

In der Literatur findet sich oftmals auch der Begriff ‚belief network’ anstatt ‚Bayesian network’ oder ‚Bayessche Netzwerke’. Ebenfalls gebräuchliche Begriffe sind ‚probabilistic network’, ‚causal network’ oder ‚knowledge map’. Es handelt sich bei diesen Netzwerken immer um Repräsentationen von Abhängigkeiten zwischen mehreren Variablen. Sie geben eine prägnante Spezifikation der Verbindungsstellen mehrerer Wahrscheinlichkeitsverteilungen an. Im Bereich der Erkennung von Erregungszuständen dient das Bayessche Netzwerk dazu, die Verbindungen zwischen internen psychologischen Zuständen und äußerlich beobachtbarem Verhalten (verbal, nonverbal) zu visualisieren. Es wurden Versuche unternommen, Bayessche Netzwerke für die Erkennung von Erregungszuständen einzusetzen [Zhou & Conati 2003] und in Kombination mit HMM darzustellen. Wie von Horvitz vorgeschlagen, können Bayessche Netzwerke auch in Kombination mit HMM eingesetzt werden [Horvitz 2003]. In der Forschungsabteilung von Microsoft wird im Projekt „Attention User Interface (AUI)“ an einer „Intelligenten“ Bedienerführung gearbeitet. Sie soll die Kommunikation mit Computern künftig erleichtern. Der Computer reagiert dabei auf nutzer- und kontextabhängige Interessen, die mit Hilfe von Lern- und Wahrnehmungstheorien sowie Erkenntnissen aus der Psychologie ermittelt werden. Im Mittelpunkt der Forschungsarbeiten steht der Einsatz entscheidungstheoretischer Nutzermodelle, die auf Basis von Bayesschen Netzwerken aufgebaut werden, um die Wahrscheinlichkeit des Eintretens bestimmter Ereignisse vorherzusagen.

2.1.4.3

Neuronale Netze

Ein Neuronales Netz ist eine informationsverarbeitende Struktur, die sich an der stark vernetzten, parallelen Topologie des Gehirns von Säugetieren orientiert. Neuronale Netze verwenden mathematische Modelle, um die dort beobachteten Eigenschaften biologischer nervöser Systeme nachzubilden und adaptives biologisches Lernen zu ermöglichen. Das Besondere am Aufbau eines Neuronalen Netzes ist die große Zahl untereinander verbundener informationsverarbeitender Elemente (analog zu Neuronen), die durch gewichtete Verbindungen (analog zu Synapsen) miteinander interagieren [ Patterson 1996], [Software Engeneering 2004] . Das Lernen geschieht bei Neuronalen Netzen durch die Anpassung der Verbindungen zwischen den Neuronen. Das Lernen findet beim Training durch Beispiele oder durch verifizierte Input/Output-Datensätze statt, indem der Algorithmus iterativ die Verbindungsgewichte (Synapsen) zwischen den Neuronen adaptiert. Diese Gewichte speichern das Wissen zur Lösung

37

2.1 Basistechnologien zur Erkennung von Erregungszuständen

38

spezieller Aufgaben. Neuronale Netze werden zur Mustererkennung und für Klassifizierungsaufgaben eingesetzt und können auch verzerrte oder ungenaue Eingangsdaten klassifizieren, wie etwa in der Zeichen-, Sprach- und Bilderkennung. Ihre Stärke liegt in der Flexibilität gegenüber Störungen in den Eingangsdaten und ihrer Lernfähigkeit. Neuronale Netze können sowohl in Software, als auch in spezielle Hardware implementiert werden [Rigol 1999]. Im Bereich der Erkennung von Erregungszuständen wurde über ein Forschungsprojekt zur Kombination von Signalen von verschiedenen Biosensoren berichtet [Haag 2004]. Das System wurde allerdings nur mit einem Nutzer getestet. Die Ergebnisse der Studie zeigen Erkennungsraten bis 96,6% bei Erregungszuständen und 89,9% bei der Valenz (positiv, negativ). Um Aussagen in diesem Bereich zu treffen, bedarf es allerdings Untersuchungen mit einer größeren Gruppe von Nutzern.

2.1.4.4

Fuzzy Logik

Die Fuzzy Logik stellt ein mathematisches Modell eines komplexen informationsverarbeitenden Systems dar. Fuzzy Logik basiert auf der „Fuzzy-Mengen-Theorie“ [Zadeh 1965]. FuzzySysteme kodieren direkt strukturiertes Wissen (Regeln) in numerischer Form. Die Fuzzy-SetTheorie geht von der Annahme aus, dass alle Dinge nur zu einem gewissen Grad zutreffen und reduziert die herkömmliche Logik auf einen Sonderfall. Gerade der Mangel an Präzision ermöglicht das Treffen von Entscheidungen selbst in Situationen, in denen unvollständige oder teilweise widersprüchliche Informationen vorliegen. Diese Methode wird in emotionalen Computersystemen eingesetzt, die auf Spracherkennung basieren [Chul Min & Narayanan 2004]. Dabei wird ein Fuzzy-Inferenz-System eingesetzt, das normalerweise aus vier Blöcken besteht: • Fuzzyfizieren: Umwandlung präziser Werte in unscharfe Werte, das Definieren der Fuzzy-Mengen wird durch einen Experten der jeweiligen Domäne durchgeführt. • Definieren von Regeln: es werden Wenn-dann-Regeln eingesetzt • Bilden von Inferenzen: Inferenzen bestehen aus fuzzy Wenn-dann-Regeln • Defuzzyfizierung: Umwandlung unscharfer Fuzzy-Werte in scharfe Endwerte

2.1.4.5

Expertensysteme/Wissensbasierte Systeme

In Expertensystemen werden regelbasierte Modelle eingesetzt, die grundsätzlich für die Diagnose geeignet sind. Es bleibt allerdings die Herausforderung der Formulierung eines vollständigen und abgesicherten Regelwerkes für die Erkennung von Erregungszuständen bestehen. Das grundsätzliche Problem, Regeln und Kriterien indirekt im Bereich der Merkmale definie-

2 Komponenten von emotionalen Computersystemen

ren zu müssen, ist ebenso wie im Bereich der Definition von Toleranzgrenzen gegeben. Die in Expertensystemen notwendige Wissensakquisition bestimmt den Aufwand zur Parametrierung des Gesamtsystems, da sie nicht als triviale Aufgabe zu betrachten ist. Grundsätzlich birgt die Modellierung mittels Toleranzen und mittels Regelsystem die Problematik der subjektiven Bewertung der Zusammenhänge durch den Experten und damit das Risiko der Fehleinschätzung. Scherer hat ein Expertensystem beschrieben, das sich mit Emotionen beschäftigt. Scherer versuchte mit diesem Konzept Erregungszustände vorherzusagen. Da Expertensysteme immer nur Regeln und Wissen für eine bestimmte Domäne beinhalten, fanden die Ergebnisse dieser Arbeit keinen breiten Einsatz [Scherer 1993]. Jede Erweiterung des Expertensystems auf eine neue Domäne bedeutet, dass domänenabhängige Regel- und Wissensbasen komplett neu erstellt werden müssen.

2.1.5 Zusammenfassung Die vorgestellten Methoden zur Erkennung von Erregungszuständen als Teil der Konstruktion emotionaler Computersysteme lassen folgende Schlussfolgerungen zu: • Die eingesetzten Sensorarten und Methoden sind stark kontext- und nutzergruppenabhängig. Damit beispielsweise optische Sensoren korrekte Werte liefern können, müssen viele Randbedingungen erfüllt sein. In einer Domäne, in der die Nutzer sich in einem oder mehreren Räumen frei bewegen, ist eine Erkennung auf Basis von optischen Sensoren nicht möglich. Akustische Sensoren sind stark personen-, kultur- und umgebungsabhängig, z.B. kann in einer Umgebung mit lauten Geräuschen keine Erkennung auf Basis von akustischen Sensoren durchgeführt werden. • Es existiert derzeit keine umfassend erforschte Methode, die eine breite Nutzung erlaubt, da die meisten Versuche unter Laborbedingungen durchgeführt worden sind. • Es besteht weiterhin Forschungsbedarf speziell auf dem Gebiet der Mustererkennung von Erregungszuständen und der Schlussfolgerungen daraus. • Die Nutzung der Hidden Markov Modelle erscheint als erfolgsversprechendste Methode zur Erkennung von Erregungszuständen für die Integration in die MMS. Wie dargestellt lassen die veröffentlichten Ergebnisse im Bereich der Erkennung von Erregungszuständen durch Sensoren diese Schlussfolgerung zu, insbesondere weil die Erregungszustände sich in sichtbare und nicht beobachtbare Variablen aufteilen lassen, die als klassischer Erkennungskontext durch HMM klassifiziert werden können.

39

2.1 Basistechnologien zur Erkennung von Erregungszuständen

40

• Expertensysteme werden nur in sehr begrenztem Umfang für die Erkennung von Erregungszuständen Anwendung finden, da sie sich eher für die Konstruktion von tiefen, domänenspezifischen Systemen eignen. Emotionale Computersysteme hingegen sind zurzeit eher als Computersysteme mit einer breiten und nicht tief verzweigten Hierarchie zu beschreiben. • Biosensoren eignen sich am besten für den Einsatz in unterschiedlichen Kontexten und bei Nutzergruppen mit den unterschiedlichsten Anforderungen wie Kinder, behinderten oder älteren Menschen. Biosensoren sind einfach zu platzieren, erlauben relativ große Bewegungsfreiheit, sind wenig beeinflussbar durch Umgebungsgeräusche und können kaum vom Nutzer absichtlich manipuliert werden.

2 Komponenten von emotionalen Computersystemen

2.2

41

Simulation von Emotionen durch Soziale Interface Agenten (SIAs)

Gemäß der Definition von emotionalen Computersystemen (siehe Kapitel 1) stellt die Realisierung einer intelligenten MMS durch Simulation von Emotionen ein zentrales Element in der Entwicklung von emotionalen Computersystemen dar. SIAs stellen die beste Art dar, um Emotionen in der MMS zu simulieren. SIAs, auch bekannt als „AVATARE“ oder als Interface Agenten, sowie Anthropomorphe Interaktionsagenten wie im Projekt VirtualHuman7, erwecken seit einiger Zeit weltweites Interesse [André 1999a], [André & Riest 2000], [Conati 2002a], [Dautenhahn 1998], [El-Nasr 1998] ,[Horvitz 2003], [Lester 2000]. Die Darstellung von SIAs ist gekennzeichnet durch graphische virtuelle Charaktere, in Form von Menschen, Tieren oder fiktiven Figuren, die mit einem Körper versehen sind. Sie können als gesamtes Objekt oder als Subobjekte programmiert werden und in einer graphischen (2D/3D) Umgebung integriert und eingesetzt werden. In Tabelle 2 wird ein Exemplar eines solchen Objekts mit verschiedenen Animationen gezeigt.

Neutral

Küssend

Verträumt

Nachdenkend

Durcheinander

Zuhörend

Erklärend

Salto

Lachend

spielend

Tabelle 2: SIA mit verschiedenen Animationen SIAs können mit dem Nutzer multimodal kommunizieren, auch über Sprachein-/ausgabe. Sie können in unterschiedlichen Informationssystemen eingesetzt werden, z.B. in Trainingssystemen, als Zusatz zu E-Mail-Systemen oder in gängigen Browsern, um den Text einer Website vorzulesen. Sie zeigen durch die Programmierung einer „Persönlichkeit“ und der Zuordnung von simu-

7

http://www.virtual-human.org/

42

2.2 Simulation von Emotionen durch Soziale Interface Agenten (SIAs)

lierten Emotionen menschenähnliche Verhaltensweisen [Dautenhahn 2002]. Eine Beschreibung der Merkmale von SIAs wird in Kapitel 2.2.1 gegeben. Eine Darstellung der Komponenten sowie die Einordnung von SIAs in die Informationstechnologie wird in Abbildung 8 wiedergegeben. In den einzelnen Bereichen dieser Abbildung werden Komponenten oder Anwendungsgebiete von SIAs dargestellt, z.B. Forschungsthemen wie „Mensch-Maschine-Schnittstelle“, “Persönlichkeit und Emotion“ sowie „Formate und Markup Sprachen“.

Abbildung 8: Komponenten und Anwendungen von SIAs In den letzten Jahren haben Weiterentwicklungen bei den Agenteninterface-Sprachen (Markup Languages) ganz neue Möglichkeiten für die Konstruktion und den Einsatz von SIAs geschaffen. Sie erlauben es in effizienter Weise, Schnittstellen zwischen Agenten und Anwendungsdomänen zu kreieren. Zu diesen Sprachen zählen z.B. „Presentation Markup Language MPML8 (Multimodal Presentation Markup Language)“ [Prendinger 2001b], „VHML (Virtual Human Markup Language7)“, „HumanML (Human Markup Language9)“. Auf Basis

8 9

http://www.miv.t.u-tokyo.ac.jp/MPML/en/ http://xml.coverpages.org/

2 Komponenten von emotionalen Computersystemen

von FACS (siehe Kapitel 2.1.1) wurde auch MPEG-410 entwickelt. Es ist ein MPEG Standard (ISO/IEC-14496) zur Videodekodierung und Komprimierung, der Elemente zur Animation von Gesicht und Körper von Interface Agenten enthält. Mit Hilfe der AgenteninterfaceSprachen kann die Agententechnologie bis ins MMS integriert und eine „virtuelle Persönlichkeit“ modelliert werden. Im Forschungsprojekt lumiere11 der Firma Microsoft werden Technologien für die OfficeAssistenten und für das Betriebssystem Windows XP entwickelt. Dabei wird an grafischen Computermodellen gearbeitet, auf deren Basis dann realistisch wirkende Avatare realisiert werden. Die unter MS Windows als ActiveX Komponenten realisierten „msagents“ und Office Assistenten stellen eine der bekanntesten Anwendungen in der Interface Agententechnologie dar. Das oben dargestellte Forschungsprojekt befasst sich mit dem Entwurf realistischer Gesichtsmodelle, komplexer Bewegungen in Echtzeit und menschlicher Verhaltensmuster. Ziel ist die Entwicklung von Softwarewerkzeugen, die realistische Darstellungen bei Animationen ermöglichen. In einem weiteren „Projekt Making Faces11“ werden zum Beispiel 35 Muskelgruppen verwendet, um die Mimik und den Ausdruck in Gesichtern darzustellen. Das Forschungsinteresse an SIAs und deren Anwendung in emotionalen Computersystemen ist allerdings nicht gänzlich neu. Es gab bereits in den 60er Jahren Versuche, emotionale Intelligenz in Computersystemen zu erforschen und zu integrieren, obwohl das Interesse nur der Funktionalität und nicht der Repräsentation galt, wie z.B. die Arbeit von Herbert A. Simon mit dem Titel „Motivational and Emotional Controls of Cognition“. Darin machte er zum ersten Mal Emotionen zum Gegenstand eines systematischen Modellierungsansatzes kognitiver Prozesse [Simon 1967]. Sloman an der Universität Birmingham12 arbeitete an ähnlichen Fragestellungen zur Entwicklung von emotionalen Komponenten [Sloman 1981]. In dieser Kategorie sind auch die Arbeiten zur Simulation sozialen menschlichen Verhaltens einzuordnen, wie sie Weizenbaum mit seinem berühmt gewordenen Programm Eliza vorstellte. Eliza versuchte durch Manipulation bestimmter Schlüsselwörter, den Nutzer emotional anzusprechen [Weizenbaum 1966]. Ein weiterer Versuch, Emotionen in der zwischenmenschlichen Kommunikation bei der Computernutzung umzusetzen, ist der Einsatz von sog. “Emoticons”. Durch die in E-Mails oder

10

http://www.chiariglione.org/mpeg/standards/mpeg-4/mpeg-4.htm http://research.microsoft.com/default.aspx 12 http://www.cs.bham.ac.uk/~axs/ 11

43

2.2 Simulation von Emotionen durch Soziale Interface Agenten (SIAs)

44

Chats eingefügten Sonderzeichen wird versucht, die rein sprachliche Ebene der Emotionsvermittlung zu erweitern, um mimische Elemente

wie ein lachendes

oder ein trauriges Gesicht

.

In der „Abteilung für Interaktions-Technologien von Siemens CT in München“ wird an der Integration emotionaler Intelligenz in mobile Geräte und Roboter gearbeitet. Dazu wurden Handys und andere mobile Geräte aufgebaut, die Emotionen zeigen und dem Nutzer erlauben, emotionale Botschaften über Interface Agenten und andere Multimedia-Elemente, wie z.B. Touchfunktionalität, auszutauschen (siehe Abbildung 9) [Siemens Roboter und Gefühle 2004]. Im Forschungsprojekt „VerbMobil“ [Batliner & Wahlster 2000] wurden Methoden zur Integration von SIAs und Erkennung von Emotionen in der Sprache getestet. Beim Arbeiten mit einem Hotelinformationssystem wurde über die Hauttemperatur auf die emotionale Lage des Nutzers geschlossen und die Dialogführung durch ein SIA entsprechend angepasst.

Abbildung 9: Siemens Handy mit emotionalen Figuren Der pädagogische Agent „Gandalf“ wurde in den Jahren 1992 bis 1996 im „Media Laboratory des Massachusetts Institute of Technology (MIT)“ entwickelt [MIT Media Laboratory Agent Groupe 2004]. Die „University of South California“ schuf 1993 den Agenten „Steve“ und verfeinerte diesen im Laufe der Jahre hinsichtlich Erscheinungsbild und Funktionalität immer mehr [Johnson 1998], [Johnson et al. 1999]. Im Jahr 1994 begannen auch am Deutschen For-

2 Komponenten von emotionalen Computersystemen

schungszentrum für Künstliche Intelligenz (DFKI)13 die praktischen Arbeiten an dem Agenten PPP-Persona [André 1999b]. In anderen Arbeiten wurde untersucht, inwieweit motivationale Parameter des Nutzers durch unterschiedliche Gestaltung von SIAs beeinflusst werden können [Moreno et al. 2001]. Eine wichtige Erkenntnis aus den dargestellten Projekten ist, dass die Komplexität eines SIAs durch die Dimensionen Breite und Tiefe bestimmt wird. Die Breite gibt die Anzahl der zur Verfügung stehenden Handlungsmöglichkeiten und die Anzahl der Situationen an, die der SIA erkennen kann. Die Differenziertheit und Komplexität im Erkennen und Reagieren macht die Tiefe des Systems aus [Ruebenstrunk 2001].

2.2.1 Hauptmerkmale von SIAs Im Bereich der MMS sind SIAs heute bereits in Standardsoftware integriert (z.B. Microsoft Office, Windows XP). Es existiert bislang aber weder eine einheitliche Terminologie noch eine eindeutige Definition von SIAs. Die folgenden Eigenschaften sollen zumindest eine klare Beschreibung für SIAs schaffen. Diese Eigenschaften sind eine Zusammenfassung der Ergebnisse aus den bereits bekannten Projekte im Bereich der SIAs [André & Riest 2000], [Ball & Breese 2000], [Bates 1992a], [Bates 1992b], [Bates 1994][Gans et al. 2001], [Lester 2000], [Lewis 2000], [Maes 1994], [Microsoft Research Agenten Gruppe], [MIT Media Laboratory Agent Groupe 2004], [Mohamad et al. 2002a], [Ruebenstrunk 2001], [Velasco&Mohamad 2002], [Wright 1997], [Wright et al. 1996], [Zhou & Conati 2003]: • SIAs sind geschlossene Softwaresysteme, die über Schnittstellen mit Ihrer Umgebung kommunizieren. Der Nutzer erwartet von einem SIA Kompetenz in seiner Domäne bzw. seinem Kontext. Um Kompetenz zu demonstrieren muss ein SIA Zugang zu allen Informationen, Objekten und Funktionen haben, die in dieser Umgebung vorhanden sind. SIAs können auf externe Signale reagieren und sich an die veränderte Umgebung anpassen. • SIAs zeigen lebendiges/menschliches Verhalten und simulieren Emotionen durch Gestik, Mimik und Körpersprache. Sie können mit dem Nutzer multimodal z.B. durch natürliche Sprache und über diverse Ein-/Ausgabegeräte kommunizieren • SIAs besitzen Autonomie. Diese Autonomie ist erst sinnvoll im Zusammenspiel mit einem System, in dem sie existieren. SIAs können beispielsweise im Falle einer Interaktionspause selbständig und unabhängig von Nutzeraktionen bestimmte Aktionen durchführen. Diese Autonomie ist auch für die Glaubwürdigkeit eines SIAs wichtig, 13

http://www.dfki.de/

45

2.2 Simulation von Emotionen durch Soziale Interface Agenten (SIAs)

46

denn sie lässt SIAs lebendig erscheinen. SIAs zeigen Aufmerksamkeit für die Nutzer, z.B. können sie in einem Lernsystem zuhören und Interesse zeigen, wenn der Nutzer Aktionen durchführt. • SIAs übernehmen bei der Kommunikation mit Nutzern oder mit anderen SIAs die Initiative, sie sind somit zielorientiert und proaktiv. In einem Trainingssystem können SIAs beispielsweise im Fall der Stagnation der Nutzerleistung neue Aktionen durchführen oder dem Nutzer andere Trainingseinheiten vorschlagen. Der Erfolg eines SIAs hängt zum großen Teil davon ab, in wieweit er in der Lage ist, auf die Bedürfnisse der Nutzer einzugehen und auf Änderungen in deren Verhalten zu reagieren. Die Interaktionsmöglichkeiten zwischen Nutzer und Computer sind dabei explizit festgelegt, und durch die Funktionen und Möglichkeiten eingeschränkt, die in einer Domäne oder einem Kontext bereitgestellt werden. Die Kenntnis der Nutzerpräferenzen bewirkt, dass ein SIA daran angelehnt handeln kann. Diese Anpassung soll kontinuierlich sein, da sich das Wissen und Verhalten eines Nutzers im Laufe der Zeit verändern kann, also die Einstellungen und Anpassungen müssen veränderbar sein. • SIAs zeigen simulierte Emotionen, die konsistent zu ihrem Verhalten sind, um so auch Glaubwürdigkeit durch menschenähnliches Verhalten zu demonstrieren d.h. wenn ein SIA z. B. einen traurigen Sachverhalt erklärt, soll der SIA dabei nicht fröhlich wirken. SIAs drücken sich durch eindeutige Sprache und Bewegung aus, d.h. sie benutzen eine kurze und prägnante Sprache und ihre Bewegungen werden dem Kontext entsprechend durchführt. Schon an der externen Repräsentation sollten wesentliche interne Eigenschaften des SIAs, welche die Nutzer einstellen können, erkennbar sein, z.B. Sprachausgabe ein-/ausschalten oder Animationen verändern. Wenn es verschiedene Präsentationsmodi geben soll, wie zum Beispiel Text, Geräusche oder visuelle Darstellung, muss nicht nur die Figur selber dementsprechend gestaltet werden, sondern auch die Umgebung, in der sie handelt sowie die Aufgaben, die sie erfüllen soll. Es kann genügen, einen SIA zu konstruieren, der lediglich verschiedene Icons zur Auswahl bereitstellt. Sollen aber z.B. Informationen von einem SIA „erzählt“ werden und dazu verschiedene Erzähler eingesetzt werden, müssen nicht nur Figuren mit unterschiedlichen Äußeren und verschiedenen Bewegungen bereitstehen, sondern beispielsweise auch verschiedene Stimmen. Der gewählte SIA muss als Einheit mit all seinen Eigenschaften wahrgenommen werden können. • SIAs sollen so funktionieren, dass sie sich den Wünschen des Nutzers anpassen. Wenn der Nutzer die Intervention des Agenten nicht wünscht, dann sollten die Agenten ü-

2 Komponenten von emotionalen Computersystemen

berhaupt nicht in Erscheinung treten. Wenn der Nutzer die Hilfe der Agenten ausdrücklich wünscht, dann sollen sie permanent erscheinen. Zwischen beiden Zuständen soll abhängig von den Präferenzen des Nutzers eingestellt werden, wann die Agenten erscheinen und wann nicht. • SIAs simulieren Emotionen durch Stimme, Gesicht, Mimik und Körpersprache. SIAs sollen möglichst die Bedürfnisse und Ziele des Nutzers erkennen, anhand derer sie die passenden Aktionen auswählen, ausführen und dann die Darstellung der Ergebnisse der Aktionen durch Emotionen unterstützen. Die Repräsentation der SIAs, mit der die Ergebnisse übermittelt werden, soll einfach und nicht komplex sein. Je nach Aufgabentyp, den ein SIA durchführt, unterscheiden sich die funktionale Implementierung und die externe Repräsentation stark.

2.2.2 „Persönlichkeit“ und „Emotionen“ von SIAs Der Simulation von Emotionen und der unterschiedlich gestalteten „Persönlichkeit“ von SIAs liegen keine eindeutigen psychologischen Modelle oder Konzepte zu Grunde. Bezogen auf die „Persönlichkeit“ von SIAs findet sich in der Literatur oft der Verweis auf ein Modell von McCrae, in dem zwischen fünf Persönlichkeitskategorien unterschieden wird: Offen, gewissenhaft, extrovertiert, liebenswürdig und neurotisch [McCrae et al. 1992]. Speziell bei der Implementierung in der Informationstechnologie finden meist Beschränkungen auf nur 2 Dimensionen statt. In einem Projekt von Ball und Breese waren dies auf der einen Seite Dominanz und auf der anderen Seite Freundlichkeit [Ball & Breese 2000], wobei sie die anderen Persönlichkeitstypen diesen beiden, je nach Stärke der emotionalen Ausprägung, zuordneten. Einen anderen Ansatz verfolgen die Arbeiten von [André 2000], in welchem Extrovertiertheit und Liebenswürdigkeit verwendet wurden. Die unterschiedlichen Kategorien der Agentenpersönlichkeiten wurden eingesetzt, um die Adaptivität der SIAs zu unterstützen und die Interaktion flexibler zu gestalten. Die Persönlichkeit der SIAs ist eine Komponente zur Simulation von Emotionen, die andere Komponente ist die der Emotionen selbst. Die Theorie von Ortony, Clore und Collins, auch als OCC-Theorie bekannt [Ortony, Clore & Collins 1988], wird als Basis für die Integration von Emotionen in SIAs verwendet. Es besteht Konsens, dass sich die OCC-Theorie für die Simulation von Emotionen in SIAs gut eignet [Ruebenstrunk 2001], [Prendinger 2001], [Prendinger 2001b], [Conati 2002b][Conati 2002c], [Mohamad et al. 2003], [André 1999a], [André 1999b]. In allen Arbeiten wird diese Theorie als passend für die Implementierung in SIAs beschrieben. Die OCC-Theorie nimmt an, dass Emotionen als Folge bestimmter Erkenntnisse und Interpretationen entstehen. Eine detaillierte Darstellung der OCC-Theorie wird

47

2.2 Simulation von Emotionen durch Soziale Interface Agenten (SIAs)

48

in Kapitel 2.2.2.1 wiedergegeben. Es werden verschiedene Erregungszustände definiert, die nach 2 Kategorien aufgeteilt werden, der Höhe der Erregung und der Dauer der Erregung [Ruebenstrunk 2001]. Es wurden folgende Theorien für die experimentelle Implementierung von Emotionen in SIAs verwendet: • Die Theorie von Roseman [Roseman 1979], [Roseman 1984] • Die OCC-Theorie von Ortony, Clore und Collins [Ortony, Clore & Collins 1988] • Die Theorie von Frijda, [Frijda et al. 1994], [Frijda et al. 1993], [Frijda et al. 1987] • Die Theorie von Scherer, [Scherer 1984], [Scherer 1988], [Scherer 1993] Die OCC wurde im Hinblick auf die Implementierung in Computersystemen entwickelt, während alle anderen im Hinblick auf rein psychologische Untersuchungen entwickelt wurden. Daher soll nur die OCC-Theorie im Folgenden ausführlich dargestellt werden.

2.2.2.1

Die Theorie von Ortony, Clore und Collins

Ortony, Clore und Collins haben ihren theoretischen Ansatz, genannt OCC, ausdrücklich im Hinblick auf die Implementierung in einem Computer entwickelt [Ortony, Clore & Collins 1988]. Die OCC-Theorie nimmt an, dass Emotionen als Folge bestimmter Erkenntnisse und Interpretationen entstehen. Deshalb konzentriert sie sich ausschließlich auf die Auslöser von Emotionen. Die Autoren geben an, dass die drei Aspekte: Ereignisse, Agenten und Objekte als auslösende Faktoren anzusehen sind. Emotionen, so ihre zentrale Annahme, stellen valenzierte Reaktionen auf diese genannten drei Aspekte dar. Man kann sich über die Konsequenzen eines Ereignisses freuen oder nicht freuen. Man kann die Handlungen eines Agenten befürworten oder ablehnen oder man kann Aspekte eines Objekts mögen oder nicht mögen. Eine weitere Differenzierung besteht darin, dass Ereignisse Konsequenzen für andere oder für einen selbst haben können und dass ein handelnder Agent ein anderer oder er selbst sein kann. Die Konsequenzen eines Ereignisses für einen anderen lassen sich unterteilen in „erwünscht“ und „unerwünscht“. Die Konsequenzen für einen selbst als „relevante“ oder „irrelevante“ Erwartungen. Relevante Erwartungen für einen selbst schließlich können noch einmal danach unterschieden werden, ob sie tatsächlich eintreten oder nicht. Die Intensität einer emotionalen Empfindung wird vorwiegend bestimmt durch drei zentrale Intensitätsvariablen:

2 Komponenten von emotionalen Computersystemen

49

• Desirability ist verknüpft mit der Reaktion auf Ereignisse und wird im Hinblick auf Ziele evaluiert • Praiseworthiness ist verknüpft mit der Reaktion auf Aktionen von Agenten und wird im Hinblick auf Standards evaluiert • Appealingness ist verknüpft mit der Reaktion auf Objekte und wird im Hinblick auf Einstellungen evaluiert. Weiterhin definieren die Autoren eine Reihe von globalen und lokalen Intensitätsvariablen. Sense-of-reality, proximity, unexpectedness und arousal werden von ihnen als die globalen Variablen definiert, die über alle drei Emotionskategorien hin wirken. Die OCC-Theorie wurde auch für die Simulation von Emotionen in SIAs vielfach implementiert, z.B. in den Arbeiten von Prendinger [Prendinger 2001], [Prendinger 2001b]. Prendinger erläutert „Jeder Interface Agent sollte basierend auf einem Emotionsmodell aufgebaut werden. Ein solches Modell muss mehrere Entitäten enthalten, wie Weltwissen (belief), emotionale Parameter (Erregungszustände, Personalität, Verhalten), Ziele und Pläne“. Obwohl keine akzeptierten Standards für die Emotionsmodelle in Interface Agenten existieren, haben viele das OCC-Modell als Grundlage für die Realisierung von SIAs verwandt, dabei haben sie verschiedene Interpretationen der Theorie ergeben [André 1999b],

[André 2000], [Conati

2002c].

2.2.3 Bekannte Prototypen von SIAs Im Folgenden werden vier wichtige Vertreter von Interface-Agenten-Projekte beschrieben: Cosmo, Peedy, der bewohnte Marktplatz und Prime Climb.

2.2.3.1

Cosmo

Cosmo ist der Name eines SIAs, welcher wie ein Roboter mit Antennen auf den Kopf aufgebaut ist. Er versucht Schülern das Prinzip der Weiterleitung von IP-Paketen zu vermitteln [Johnson et al. 1999]. Neben Mimik (z.B. Augen Rollen oder Hochziehen der Augenbrauen) und Körperbewegungen (Hände zur Erklärung nutzen und desgleichen) werden die Emotionen von Cosmo durch Bewegungen seiner seitlich montierten Antennen dargestellt (herabhängende Antennen bedeuten beispielsweise Traurigkeit oder Enttäuschung). Diese Emotionen bestehen aus 180 unterschiedlichen Äußerungen, die eine Dauer im Bereich von 1 – 20 Sekunden haben. Es wird für die Steuerung ein so genanntes Sequencing Framework [Lester 2000] verwendet, dieses Framework erlaubt die Konstruktion von Emotionen und die Definition von Reihenfolgen von Emotionen. Diese Reihenfolgen werden dann zur Laufzeit abhängig vom Kontext gewählt.

2.2 Simulation von Emotionen durch Soziale Interface Agenten (SIAs)

50

2.2.3.2

Peedy

Mit Hilfe des Agenten Peedy, eines Papageis14, sind bereits viele Systeme realisiert worden, z.B. sucht Peedy in einem System für die Nutzer einer Musikdatenbank deren Wunschtitel heraus. Die Befehle nimmt er durch natürlich gesprochene Sprache entgegen. Auch er kann Emotionen durch seine Mimik und Gestik zum Ausdruck bringen. Bemerkenswert ist die für diesen SIA entwickelte Wissensdatenbank mit einer Vielzahl von Antwortmöglichkeiten [Ball 1997]. Diese Datenbank ist skriptgesteuert und wird regelmäßig über den Zugriff auf Webseiten aktualisiert. In einem anderen System können die Nutzer einer Website Pizza15 mit unterschiedlichen Zutaten bestellen. Dabei kommunizieren sie mit Peedy in natürlicher Sprache, Peedy simuliert Emotionen und setzt sie für die Interaktion ein. Die Architektur von Peedy basiert auf die Microsoft msagent SDK15. Sie erlaubt die Programmierung beliebiger Emotionen, die dann einzeln oder in Sequenzen gesteuert werden können.

2.2.3.3

Der bewohnte Marktplatz

Im Mehr-Agenten-Szenario “Der bewohnte Marktplatz“, können mit Hilfe des Agenten Systems von Microsoft vier verschiedene Agenten (Genie, Robby, Peedy und Merlin) unterschieden werden. Dieser Marktplatz dient der Werbung für Autos, ein Szenario bildet ein Verkaufsgespräch für ein Auto nach und erklärt so dem Käufer die Merkmale eines Autos. Dabei treffen drei Agenten auf einem virtuellen Marktplatz zusammen, einer in der Rolle des Verkäufers, die beiden anderen in der potentieller Käufer [André 1999a], [André 1999b]. Die Persönlichkeit und die Interessen der Agenten wirken sich auf das Verkaufsgespräch aus. Es werden dabei Parametereinstellungen benutzt, die die Unterschiede zwischen den Verhaltensweisen der einzelnen Agenten hervorheben.

2.2.3.4

Prime Climb

„Prime Climb“ stellt ein typisches Beispiel für ein emotionales Computersystem dar [Conati 2002a], [Conati 2002b], [Conati 2002c]. Es ist ein experimentelles System, das Emotionen simuliert, um die Adaptivität der Systeme an die Nutzerbedürfnisse zu demonstrieren. Es versucht über Sensoren die Emotionen des Nutzers zu erkennen, um in der Interaktion entsprechend darauf zu reagieren. Die Emotionserkennung basiert dabei auf Bayesschen Netzwerken [Dean and Kanazawa 1989]. Das Ziel von „Prime Climb“ ist es, ein Lernspiel zu konstruieren, das entsprechend interveniert, wenn die Nutzer Verständnisprobleme haben oder sehr erregt

14 15

http://www.microsoft.com/msagent/default.asp http://agent.microsoft.com/agent2/sdk/samples/html/peedypza.htm

2 Komponenten von emotionalen Computersystemen

oder frustriert sind. Prime Climb ist ein Lernspiel. Es wurde von EGEMS (Electronic Games for Education in Math and Science) entwickelt, einer Gruppe an der Universität British Columbia [Conati 2002c]. Es bestehen laut der Beschreibung verschiedene Lerneinheiten, eine davon hat den Zweck, Studenten das Lernen von Primzahlen zu erleichtern. In Prime Climb können zwei Spieler gegeneinander antreten. Bei einer richtigen Lösung kommt der jeweilige Spieler eine oder mehrere Stufen weiter. Wer zuerst den Gipfel erreicht hat, hat das Spiel gewonnen. Die Entwickler von „Prime Climb“ haben mehrere Typen von Variablen im System berücksichtigt. Wie berichtet wird, konnte durch das Trainingssystem der Lernerfolg verbessert und das Engagement der Studenten erhöht werden [Conati 2002b].

2.2.3.5

Zusammenfassung

Aus den beschriebenen Arbeiten zu emotionalen Computersystemen sind verschiedene Prototypen hervorgegangen. Die Integration des Erregungszustandes von Nutzern, die eine wesentliche Anforderung für die Entwicklung von emotionalen Computersystemen darstellt, wurde nur in „Prime Climb“ realisiert. In Cosmo und Peedy sind weder eine Persönlichkeitskomponente noch eine ausgefeilte Emotionskomponente realisiert. Dabei hat sich gezeigt, dass noch Forschungsbedarf besteht, um die Integration des Erregungszustandes, die Persönlichkeitsund Emotionskomponente zu optimieren, und noch offene Fragen wie sie in Kapitel 1.3 beschrieben sind, beantworten zu können. Es existiert Bedarf an Klärung der Zusammenhänge zwischen den einzelnen Komponenten von emotionalen Computersystemen und an Erarbeitung einer Vorgehensweise zur Konstruktion solcher Systeme. Die folgenden Punkte stellen für diesen Bedarf Anhaltspunkte dar: • Das Simulieren von Emotionen durch Computer ist ein wesentlicher Bestandsteil für die Realisierung eines emotionalen Computersystems. • Die OCC-Theorie eignet sich zur Modellierung von Emotionen in SIAs, da sie klar definierte Variablen bereitstellt und sich für die Implementierung in ein Computersystem eignet. Es bedarf aber einer Erweiterung, um die Erregungszustände des Nutzers mit den simulierten Emotionen zu verknüpfen. • Es soll eine multimodale Schnittstelle realisiert werden, in der z. B. Animationen, Spracherkennung und Sprachausgabe angeboten werden. Die Wahl einer adäquaten Interaktionsmethode ist immer abhängig von der jeweiligen Domäne.

51

2.3 Interaktionsmodalitäten

52

• SIAs können mit einer spezifischen Persönlichkeit ausgestattet werden, sodass sie eine bestimmte Rolle in der Interaktion besser übernehmen können. In einem Trainingssystem kann z.B. die Figur des strengen Lehrers oder des „Kumpels“ übernommen werden. Es werden mehrere SIAs mit verschiedenen Rollen und Persönlichkeiten für unterschiedliche Kontexte und Domänen benötigt. • Durch Implementierung von unterschiedlichen Persönlichkeitstypen und emotionaler Ausdrucksfähigkeit können SIAs unterschiedliche Verhaltensweisen zeigen, die prinzipiell in zwei Kategorien eingeordnet werden können: o Sofort ausführbares Verhalten, wie z.B. Mimik und Körperhaltung. Dieses „Verhalten“ wird direkt in Animationsroutinen mit angemessener Hintergrundbewegung implementiert [André & Riest 2000]. o Zu generierendes Verhalten, wie z.B. ’Grüßen’ oder ’Entschuldigen’, das durch Applikationskommandos ausgeführt wird. Für derlei Aktionen muss zunächst eine ’Vorgeschichte’ erfolgt sein, da sich die Notwendigkeit, sich beispielsweise zu entschuldigen, nicht unmittelbar aus den aktuellen Aktionen des Nutzers ergibt [Prendinger 2001].

2.3

Interaktionsmodalitäten

Eine wichtige Annahme bei der Konstruktion emotionaler Computersysteme ist, dass sie eine Verbesserung der MMS hinsichtlich adäquater Präsentation und optimierte Adaptivität bewirken. Dabei spielt die eingesetzte Interaktionsstrategie eine wichtige Rolle [Reichardt 2003]. Es wird von Interaktion gesprochen, wenn mehr als eine Partei in den Kommunikationsprozess involviert ist, z.B. der Nutzer und mindestens ein SIA. Eine Interaktion kann durch verschiedene technische Hilfsmittel oder Kombinationen realisiert werden: • Maus und Tastatur • Sprachein-/ausgabe • Touchscreen • Joystick • Haptische Ein/Ausgabegeräte • Virtuelle Umgebung mit aktiven Schaltflächen. Unter Berücksichtigung des Erregungszustandes des Nutzers wird die Interaktion mit dem Ziel durchgeführt, das System an die Nutzerbedürfnisse anzupassen, um die Erregungszustände des Nutzers positiv zu beeinflussen und die Aufmerksamkeit des Nutzers auf das System zu lenken.

2 Komponenten von emotionalen Computersystemen

Im Folgenden werden verschiedene Interaktionsstrategien kombiniert mit Nutzerprofilen vorgestellt, die beim Implementieren von Interaktionsmethoden eingesetzt werden können. Diese eignen sich auch insbesondere für Lehr- und Lernsysteme. Die Darstellung der Interaktionsmethoden wird sich am Einsatz der SIAs orientieren (siehe Kapitel 2.2).

2.3.1 Direkte Interaktion Direkte Interaktion bedeutet, dass das System Fragen in Dialogform an den Nutzer stellt, nach deren Beantwortung die nächsten Interaktionsschritte ausgewählt werden. In diesem Modus wird kein Nutzerprofil benutzt und es gibt keine Protokollierung im System für spätere Anfragen. Die Interaktion des SIAs hat hier nur die Aufgabe, Informationen abzufragen und Ergebnisse zu liefern [Thompson et al. 2000].

2.3.2 Profilerstellung über Selbstreport Kennzeichen dieser Interaktionsform ist es, dass der Nutzer die Ergebnisse der Interaktion mit dem SIA bewerten kann. Der Agent bekommt also eine Rückmeldung über die Angemessenheit seines Verhaltens. Diese Informationen werden in einem Nutzerprofil, entweder allgemein oder für einen speziellen Nutzer gespeichert [Tebarth et al. 2000]. Damit kann der Agent im Laufe der Zeit über die Präferenzen der Nutzer/innen „lernen“ und seine Reaktionen optimieren.

2.3.3 Stereotypen Im Unterschied zur Profilerstellung für einzelne Nutzer durch Selbstreport, können Systeme eine festgelegte Anzahl von stereotypen Profilen vorhalten. Die Nutzer werden anhand ihrer Antworten auf vorgelegte Fragen klassifiziert bzw. in Kategorien eingeteilt und einem der Profile zugeordnet. Ist die Zuordnung erfolgt, werden weitere Informationen aus der Interaktion zur Verfeinerung des Profils verwendet [Fischer 2001].

2.3.4 Zusammenfassung Nutzerprofile bilden die Grundlage für die Adaption eines SIAs an die Anforderungen des Nutzers. Der Erregungszustand und andere Nutzerparameter sollen dabei berücksichtigt werden. Es hängt vom Nutzungskontext ab, ob ein Nutzerprofiltyp oder eine Kombination von verschiedenen Typen ausgewählt wird. Für den therapeutischen Kontext bildet der „Selbstreport“ einen wichtigen Typ, der meist in Kombination mit anderen eingesetzt wird.

53

54

2.4 Anwendungsdomänen

2.4 Anwendungsdomänen Emotionale Computersysteme können in vielen Domänen Einsatz finden, im Prinzip überall dort, wo eine Mensch-Computer-Interaktion stattfindet. Ein emotionales Computersystem könnte allgemein den Stressfaktor seines menschlichen Gegenübers während der Nutzung eines Informationssystems messen und überprüfen, wann und wo ein Nutzer Probleme mit z.B. seiner Textverarbeitungsprogramm, hat. Die Ergebnisse könnten für eine Verbesserung der Software genutzt werden. Auch über die Beziehung zwischen dem Design von Computersystemen und Emotionen wurde in letzter Zeit oft berichtet. Die prominentesten Berichte auf diesem Gebiet stammen von Don Norman in seinem Buch „Emotional Design“ [Norman 2004], in dem betont wird, dass die Funktionalität alleine nicht ausreicht, um Systeme erfolgreich zu gestalten. Vielmehr bedarf es der Berücksichtigung weiterer Aspekte, sodass die Systeme auch emotional ansprechend sind. Im Buch „Designing the User Interface. Strategies for Effective Human-Computer Interaction“ [Shneiderman 1997] wird auch die Wichtigkeit von Emotionen, so genannter „affektiver Aspekte“ im Design von HCI betont. Hier werden aber einige Domänen erläutert, in denen ein solcher Einsatz bereits absehbar ist [Dautenhahn 2002], [Sowa 2002].

2.4.1 Lernen Lernprogramme können als emotionale Computersysteme gestaltet werden, in denen der Computer erkennen kann, ob ein Schüler z.B. interessiert, verwirrt oder gelangweilt ist, und sein Lernprogramm entsprechend anpassen kann [Picard 2001b]. Sie können in Form eines „Klassenraumbarometers“ als emotionale Computersysteme die Dozenten dabei unterstützen, Feedback über die Erregungszustände ihrer Schüler zu erhalten, um dann den Unterricht entsprechend anzupassen, oder sie können als „Emotionsspiegel/Trainingspartner“ nach Biofeedback-Prinzip dienen. Beim Üben von Vorträgen, Präsentationen oder Vorstellungsgesprächen könnte das System aufgrund physiologischer Parameter (Hautleitfähigkeit, Blutdruck, etc.) Feedback geben und die Nutzer sensibilisieren für ihre eigene Befindlichkeit.

2.4.2 Computerspiele Eine weitere Anwendung für emotionale Computersysteme sind Computerspiele. Es könnte in Spielen Extrapunkte für Mut gegeben, wenn ein Spieler z.B. Gegner besiegt, vor denen er wirklich Angst hat [Healey & Picard 1998]. Auch könnte der Computer das Spiel je nach dem Erregungsstatus des Spielers modifizieren, z.B. wenn er negativ niedrig erregt ist, die Gegner und Rätsel etwas leichter gestalten, um aufzuheitern, oder wenn er negativ hoch erregt ist, mehr Gegner generieren, damit man sich abreagieren kann. Auch könnte sich die Spielfigur entsprechend verhalten.

2 Komponenten von emotionalen Computersystemen

Als Beispiele für emotionale Spielzeuge wäre Aibo oder Qrio zu nennen, das sind „Entertainment Roboter“ von Sony (siehe Abbildung 10), sie können sechs Emotionen durch Körperhaltung, Musik und Lichteffekte ausdrücken.

Abbildung 10: Aibo und Qrio von Sony

2.4.3 E-Commerce Der Computer könnte zu einem virtuellen persönlichen Sekretär werden, der ankommende EMails nach emotionalen Wörtern und anderen Elemente (z.B. Emoticons) sortiert und so eine emotionale Bewertung persönlicher Kommunikation anbieten. Aber auch in anderen Bereichen des E-Commerces ist der Einsatz emotionaler Computersysteme vorstellbar: • Erkennen der Erregungslage des Gesprächpartners in Call Centern oder Telekonferenzen • Anzeige der Erregungslage des Verhandlungspartners, um die Verhandlungsstrategie darauf abstimmen zu können.

2.4.4 Interaktive soziale Systeme Emotionale Computersystem können in der sozialen Kommunikation eingesetzt werden, z.B. in Systemen zur häuslichen oder stationären Pflege von Menschen. So könnten emotionale Computersysteme mittels Text zu Sprache, Menschen, die keine Text-Sprache lesen können, (z.B. blinde Menschen), helfen, emotionale Interaktion zu betreiben. Solche Nutzer könnten emotionale Botschaften dann als Text eingeben, wie z.B. eine bestimmte Mimik oder Gestik, die vom SIA stellvertetend realisiert werden. Aber auch Menschen, die Probleme mit der

55

2.4 Anwendungsdomänen

56

Kommunikation über gesprochene Sprache haben (z.B. Taubstumme), könnten durch den Einsatz emotionaler Computersysteme andere Formen der Interaktion anwenden, um emotionale Botschaften zu auszutauschen [Siemens Roboter und Gefühle 2004].

Abbildung 11: Yori-soi ifbot zur Unterhaltung von Senioren Der Yori-soi ifbot Roboter (siehe Abbildung 11) wurde von der Firma „Business Design Laboratory“16 für die Unterhaltung von Senioren entwickelt. Er kann verschiedene Funktionen durchführen z.B. Unterhaltung, Gedächtnisspiele durchführen oder Alarm geben.

2.4.5 Therapeutische Systeme Interaktive Computersysteme werden zunehmend im therapeutischen Kontext (in der Klinik, der ambulanten Pflege usw.) eingesetzt, da sie den Zeit- und Kostenaufwand therapeutischer Behandlungen reduzieren. Dadurch kann nach Bedarf trainiert werden und der allgemeine Aufwand reduziert werden. Computersysteme, die entsprechend der therapeutischen Vorgaben entwickelt werden, können Nutzer beim Lernen motivieren. Therapeutische Systeme werden bei Menschen eingesetzt, um bestimmte Defizite zu kompensieren bzw. eine Verbesserung bestimmter Fähigkeiten zu trainieren. Im Bereich des Autismus wurden z.B. einige Experimente mit therapeutischen Computersystemen durchgeführt unter Einsatz von SIAs [Michaud 2002]. Dabei wurde der Schwerpunkt auf die Kompensation der fehlenden Fähigkeiten solcher Kinder gelegt, wie • Erkennung und Interpretation von emotionalen Ausdrückfähigkeiten • Schwierigkeiten, Dialoge zu führen • Schwierigkeiten, andere Menschen nachzuahmen. Im Projekt Aurora [Dautenhahn 2002], dessen Ziel die Entwicklung einer Therapie für autisti-

16

http://www.business-design.co.jp/en/index.html

2 Komponenten von emotionalen Computersystemen

sche Kinder durch den Einsatz von SIAs war, konnte gezeigt werden, dass erhebliche Verbesserungen in den oben genannten Punkten erzielt werden konnten. Die Kinder empfanden es als angenehm, mit einem Computersystem zu trainieren, das sichere und überschaubare Ereignisse liefert und im Unterschied zu einem menschlichen Lehrer niemals „ungeduldig“ wird. In einem anderen therapeutischen Kontext, nämlich im Projekt „Carmens Bright IDEAS“ wurde ein therapeutisches Computersystem mit SIAs entwickelt, um Mütter von krebskranken Kindern zu therapieren. Es hat sich in diesem Projekt gezeigt, dass die Glaubwürdigkeit der SIAs besonders hoch eingeschätzt wurde und, dass dies zum Erfolg des Trainings beitrug. Es wurde durch die Therapie die Lebensfreude der Mütter verbessert [Marsella 2002]. Die Nutzerinnen gaben an, die SIAs seien für sie ein wichtiger Faktor für den Trainingserfolg gewesen. Ein weiterer Bereich, für den auch therapeutische Systeme entwickelt werden, sind „Lernbehinderungen“. In Kapitel 4 wird darauf im Detail eingegangen.

2.4.6 Zusammenfassung Die oben dargestellten Anwendungsdomänen und Prototypen, die nur Teile von emotionalen Computersystemen realisiert haben, zeigen, dass diese Systeme große Potentiale für Innovationen in der Informationstechnologie bereitstellen. Der Einfluss der Integration von emotionalen Komponenten wirkt sich positiv auf die Gestaltung (Design), Funktionalität und Usability von Anwendungsdomänen aus. Dabei wird hauptsächlich die MMS durch „emotionale Komponenten“ verbessert, wodurch die Nutzerakzeptanz solcher Domänenanwendungen sich erhöhen wird.

57

2.4 Anwendungsdomänen

58

3 Konstruktion einer Architektur von emotionalen Computersystemen Die menschliche „emotionale Kommunikation“ kommt ohne äußere Hilfsmittel zustande, d.h. zwei kommunizierende Menschen verstehen einander und übermitteln gegenseitige „emotionale Informationen“ im wesentlichen durch Stimme, Körperhaltung, Gestik und Mimik. Ein erfolgreich „emotional kommunizierender“ Mensch besitzt nicht nur die Fähigkeit, anderen „emotionale Informationen“ zu übermitteln, sondern auch die Fähigkeit, von anderen ausgedrückte „emotionale Informationen“ schnell und effizient aufzufassen und zu verstehen (siehe Abbildung 12). Bei der „Emotionalen Kommunikation“ zwischen Menschen und Computern bedarf es hingegen zusätzlicher Hilfsmittel, damit ein Computersystem emotionale Informationen als solche „erkennen“ und selbst Emotionen simulieren kann. Da die Konstruktion emotionaler Computersysteme eine komplexe Aufgabe darstellt und Wissen aus verschiedenen Disziplinen benötigt wird, bedarf es die Konstruktion einer Vorgehensweise, zur strukturierten Entwicklung eines emotionalen Computersystems. Die bereits in den Kapiteln 1 und 2 beschriebenen Komponenten sind Bestandteil dieser strukturierten Vorgehensweise. Um diese Komponenten in einer Architektur zu beschreiben werden folgende Schritte ausgeführt: • Strukturierung der benötigten Komponenten • Identifizierung ihrer wichtigsten Merkmale • Erfassung der Beziehungen zwischen den Komponenten und die Festlegung von Schlüsseltechnologien zur Lösung der Hauptaufgaben • Konstruktion von Implementierungsmethoden für die verschiedenen Komponenten und die die Integration in Anwendungsdomänen. Als Ergebnis dieser strukturierten Schritte ergibt sich eine Architektur zur Konstruktion emotionaler Computersysteme, die unterschiedliche Varianten berücksichtigt. Diese können einzeln oder in unterschiedlichen Kombinationen flexibel angewandt werden. Um die gesamte Architektur zu verdeutlichen, werden die einzelnen Komponenten und ihre konkreten Realisierungsansätze beschrieben. Dabei werden jeweils die notwendigen Modelle und Algorithmen erläutert. Es wird auf die Ergebnisse aus anderen Arbeiten aufgebaut, soweit sie für diese Arbeit relevant sind. So wurde über eine Architektur namens MOUE (a Model Of User’s Emotions) berichtet [Bianchi N., Lisetti C. L. 2002], Bianchi und Lisetti beschrieben darin eine Architek-

3 Konstruktion einer Architektur von emotionalen Computersystemen

tur, die aus drei Ebenen aufgebaut ist: • Sensoren, um die Erregungszustände zu erkennen • Repräsentation der Merkmale der Erregungszustände • Anpassung der Anwendung an den aktuellen Erregungszustand. Diese Architektur umfasst bereits wichtige Elemente eines emotionalen Computersystems, allerdings ist die Simulation von Emotionen durch SIAs darin nicht enthalten. In einem von Conati entwickelten Konzept sind Komponenten zur Erkennung von Erregungszuständen und zur Simulation von Emotionen in SIAs enthalten (siehe Kapitel 2.2.3.4) [Conati 2002a]. Andere Forscher beschreiben Architekturen mit Teilaspekten emotionaler Computersysteme, z.B. für die Repräsentation simulierter Emotionen in SIAs [Ball & Breese 2000], [André & Riest 2000]. Die in dieser Arbeit vorgestellte Architektur erweitert und umfasst die in den schon genannten Arbeiten beschriebenen Komponenten, sie erweitert die Grundlage, um weitere Schritte in der Entwicklung emotionaler Computersysteme aufbauen zu können. Es werden folgende Komponenten berücksichtigt (siehe Abbildung 12): • alle wesentlichen Sensorarten für die Erkennung von Erregungszuständen • Messmethoden • Verfahren zur Erkennung einzelner Erregungszustände • Interaktions- und Repräsentationsmethoden zur Integration in Anwendungsdomänen z.B. in therapeutischen Systemen. Diese Architektur wird konstruiert und untersucht mit dem Ziel, diese Komponenten flexibel in unterschiedlichen Anwendungsszenarien implementieren zu können. Ein entscheidender Vorteil dieser Architektur liegt in der beschriebenen Flexibilität, in der Merkmalsextraktion und der Erkennung von Erregungszuständen (siehe Kapitel 3.2 und 3.3). Eine weitere wichtige Komponente stellt der Aufbau eines erweiterten Modells zur Simulation von Emotionen durch SIAs abhängig von den Erregungszuständen der Nutzer dar (siehe Kapitel 3.5.2 ).

59

2.4 Anwendungsdomänen

60

Abbildung 12: Erweiterte Architektur eines emotionalen Computersystems In Abbildung 12 sind die Hauptkomponenten eines erweiterten emotionalen Computersystems dargestellt: Die in Fettdruck dargestellte Linie zwischen Nutzer und Sensoren, stellt deren physikalische Verbindung dar, im Moment durch Kabel (später auch drahtlos). In den elliptischen Formen werden die Prozesse angegeben, die für die Konstruktion von emotionalen Computersystemen erforderlich sind. Die Rechtecke enthalten die Entitäten, die zur Bildung der einzelnen Prozesse notwendig sind. Die Prozesse und die dazugehörigen Entitäten werden in den folgenden Kapiteln ausführlich beschrieben.

3 Konstruktion einer Architektur von emotionalen Computersystemen

3.1 Sensorart wählen und Messen

Abbildung 13 : Mess-Sensoren Es gibt verschiedene Arten von Sensoren, die sich für unterschiedliche Nutzungskontexte eigenen (siehe Abbildung 13). Es können damit verschiedene Signale gemessen werden, die in kontinuierlicher oder diskreter Form vorliegen und vom menschlichen Körper direkt oder indirekt erzeugt werden, wie z.B. Stimmgeräusche, Optik oder schwache elektrische Signale der Haut (siehe Kapitel 2.1). Diese Signale können durch Sensoren aufgenommen und an ein Computersystem weitergegeben werden. Akustische Sensoren eignen sich für Anwendungen, in denen über eine Schnittstelle mit Sprachein-/ausgabe kommuniziert wird. Bewegungssensoren (somatische Sensoren) kommen zur Anwendung bei Kontexten, in denen der Bewegungsrhythmus gemessen werden soll, z.B. die Art der Bewegung einer Computermaus. Optische Sensoren werden dort eingesetzt, wo die Beobachtung von Mimik und Gestik möglich und erwünscht ist, z.B. bei Videokonferenzen, wo die Nutzer feste Sitzpositionen einnehmen. Dabei ist die Eignung und Nutzung dieser Sensoren meistens personen– und kontextabhängig, d.h. jede Sensorart eignet sich am besten für bestimmte Nutzergruppen, bestimmte Aufgaben oder bestimmte Umgebungen (siehe Kapitel 2.1). Die gemessenen Signale werden einzeln weitergegeben und können durch weitere Prozesse

61

3.1 Sensorart wählen und Messen

62

verarbeitet, verdichtet und kombiniert werden (siehe Abbildung 13). Eine der wichtigsten Arten von Sensoren für die Bildung emotionaler Computersysteme sind Biosensoren, mit denen psychophysiologische Signale gemessen werden können (siehe Kapitel 2.1). Der Hautleitfähigkeitssensor zur Erfassung der Hautleitreaktion eignet sich am besten für den Einsatz in unterschiedlichen Kontexten, für verschiedene Aufgaben und Nutzergruppen, unter anderem auch für Kinder, da dieser Sensor: • sich leicht an den Nutzer anschließen lässt • die Beobachtung der Erregungszustände des Nutzers erlaubt, auch wenn keine äußeren Anzeichen sichtbar sind (z.B. Frustration oder Motivation beim Lernen) • das Vortäuschen von Erregungszuständen erschwert. Eine genaue und valide Messung von Körpersignalen stellt heute eine komplexe Aufgabe dar, nicht zuletzt, weil es aufwendiger technischer Installationen bedarf. Darüber hinaus müssen die Nutzer meistens ein Labor aufsuchen, um ein emotionales Computersystem zu nutzen. Die Sammlung von Nutzerdaten über einen längeren Zeitraum auch im alltäglichen Leben ist somit schwer zu realisieren. Dies kann sich in der nächsten Zukunft ändern durch den Fortschritt der Hardwaretechnologie, z.B. Bluetooth zur drahtlosen Übertragung von Sensordaten. Dadurch können Sensoren für eine längere Zeitperiode getragen und die Messungen auch in alltäglichen Lebenssituationen durchgeführt werden. Nach der Messung werden dann mehrere Schritte durchgeführt, nämlich: • Filterung von Störungen und Artefakten • Verdichtung des Signals und Darstellung als ein Objekt oder Wert • Übergabe der Werte über eine Schnittstelle, um weitere Verarbeitungs- und Nutzungsprozesse durchzuführen.

3 Konstruktion einer Architektur von emotionalen Computersystemen

3.2 Merkmale Extrahieren

Abbildung 14: Messen der Körpersignale und Merkmalsextraktion In Abbildung 14 sind die einzelnen Bausteine des Prozesses der Merkmal-Extraktion zur Ableitung von relevanten Daten aus den Signalwerten auf einer Zeitachse dargestellt. Im oberen Teil der Abbildung werden der Messprozess und die Verdichtung unterschiedlicher Größen dargestellt. Im mittleren Teil der Abbildung werden verschiedene Verdichtungsmethoden (siehe Kapitel 3.2.1) zur Bildung von Schwellen und Toleranzwerten dargestellt. Sensoren bilden somit die Schnittstelle eines emotionalen Computersystems hin zum Nutzer. Die Signalverarbeitung bedeutet in diesem Zusammenhang das Messen von Signalen mit digitalen oder analogen Einrichtungen und Verfahren [Müller-Clostermann 2002] und das Erkennen von Mustern in den Daten, die aus diesen Signalen abgeleitet werden.

63

3.2 Merkmale Extrahieren

64

Die Signale oder davon abgeleitete Werte können klassifiziert werden. Ein triviales Klassifikationsverfahren ist die Überwachung anhand unabhängiger Parameter und die Alarmierung bei der Überschreitung vorgegebener Grenzwerte. Die Ableitung von Daten aus Sensorsignalen kann aber nur in einfachen Ausnahmefällen auf eine statische Betrachtung und eine direkte Auswertung von wenigen, voneinander unabhängigen Größen beschränkt werden. Es bedarf komplexer Berechnungen und Algorithmen, um wirklich konkrete Aussagen z. B. über den Erregungszustand zu gewinnen. Die Messung selbst erfolgt meistens in kleinen Zeitrastern. Die zeitliche Dichte der Messungen wird sinnvoller Weise der erwarteten maximalen Änderungsgeschwindigkeit angepasst. Die gemessenen Signale werden unterschiedlich verdichtet und abhängig von Toleranz- und Grenzwerten als abgeleiteter Signalwert an weitere Prozesse weitergegeben [Kolb 1998].

3.2.1 Verdichtungsmethoden zur Merkmalsextraktion Im Folgenden werden die wichtigsten Arten von Überwachungs- und Verdichtungsstrategien erläutert, ähnliche Konzepte existieren für die Überwachung von technischen Systemen [Kolb 1998], [Rigol 1998], [Rigol 1999]: • Kurzzeitveränderungen: Da es sich bei der Messung von Körpersignalen um einen stark dynamischen Prozess handelt, sind Kurzzeitveränderungen feststellbar. Bei Kurzzeitmessungen wird die letzte Messung oder ein Durchschnitt einer kurzen Zeitspanne (z.B. im Millisekundenbereich bis zu einer Sekunde) berücksichtigt. • Durchschnittsänderungen: Es können für bestimmte Zeitabstände (im Minutenbereich) Durchschnittswerte gebildet und zur Erkennung zeitlicher Trends benutzt werden. • Langzeitveränderungen (Baseline): Langzeitveränderungen werden für das Bilden von Durchschnittswerten über längere Zeiträume benutzt. Die „Baseline“ bildet eine Kennzahl, die sich für das Erkennen von Abweichungen sehr gut eignet. Sie gibt Hinweise auf zustandsrelevante Veränderungen im Vergleich mit Kurzzeitveränderungen oder Durchschnittsveränderungen. • Verknüpfungen: Zwischen einzelnen verdichteten Größen sind in der Regel Zusammenhänge zu erwarten. Es können Verdichtungen abhängig von Grenzwerten und Toleranzen gebildet werden. Dadurch kann auf Veränderungen des Erregungsstatus nach einer gewissen Beobachtungszeit geschlossen werden. Verknüpfungen von unterschiedlich verdichteten Kennzahlen erlauben es, eine Aussage zum Erregungszustand zu treffen. So können aktuelle Messungen von auffallend höheren Werten als in Kurz-

3 Konstruktion einer Architektur von emotionalen Computersystemen

zeitveränderungen oder in der Baseline als eine überhöhte Erregung interpretiert werden. • Auf Anforderung: Messungen auf Anforderung werden dann durchgeführt, wenn andere Kenntnisse oder Einflussfaktoren eine Einbeziehung als sinnvoll erscheinen lassen. Dies ist z.B. der Fall, wenn man eine Kombination von Sensoren einsetzt, von denen hauptsächlich die Signale eines Sensors benutzt werden und die der anderen nur zur Bestätigung eines erkannten Erregungszustandes gebraucht werden. In diesem Fall wird man die Signale der sekundären Sensoren nur bei Bedarf anfordern. Z.B. könnte ein Sensor, der die Hautleitfähigkeit misst, zur kontinuierlichen Ermittlung des Erregungszustandes eingesetzt werden und ein anderer Sensor zur Messung der Atemfrequenz nur periodisch zum Einsatz kommen, wenn die Daten aus dem ersten Sensor kein eindeutiges Urteil erlauben.

3.2.2 Eingangsdaten Die Signalerfassung liefert die Eingangsdaten Ed, die als Funktion aus den gemessenen Signalen S und aus der Häufigkeit der Messung Mh, errechnet werden können. Die Eingangsdaten Ed sind Ausgangspunkt für alle weiteren Auswertungen. Sie sollen all die Informationen enthalten, die für eine Erkennung notwendig sind. Hierzu muss abhängig von der Sensorart die erforderliche Spezifikation für die Messhäufigkeit Mh erstellt werden. Diesen Eingangsdaten sollen durch die nachfolgenden Schritte in der Auswertung eine Aussage im Sinne der Erkennung zugeordnet werden, die nur indirekt in den Messdaten enthalten ist. Dieser Vorgang wird in der Mustererkennung (siehe Kapitel 2.1.4) als Klassifikation bezeichnet [Müller 2000]. Die Anzahl der Messwerte ist normalerweise sehr hoch. Diese Menge von Messwerten ist zum einen wegen der großen Datenmenge unhandlich, zum anderen können die darin enthaltenen Informationen nicht unmittelbar in einer interpretierbaren Weise abgelesen werden. Die Signalanalyse dient dem Ziel, aus den Eingangsdaten Ed einen neuen Datensatz Ed’ zu gewinnen, der die gewünschten Informationen kompakter und möglichst ohne Informationsverlust bezüglich der Aufgabe darstellen kann. Bereits die Auswertung anderer, aus dem Signal abgeleiteter Parameter, wie z. B. der Varianz, der Leistung oder der Streuung stellt eine Folgeauswertung dar. Durch eine solche Auswertung bilden sich die Eingangsdaten Ed dann auf einen Datensatz Ed’ ab.

3.2.3 Zusammenfassung Die Merkmalsextraktion erfolgt durch die Strukturierung der Gesamtdatenmenge. Zur Gewinnung von verwertbaren Merkmalen werden verschiedene Algorithmen eingesetzt wie z.B.

65

3.3 Erkennen

66

das Berechnen einer Baseline oder die Varianz. Diese unterstützen ein Softwaresystem aufgrund eines veränderten Merkmals in den strukturierten Daten, bestimmte Adaptionen vorzunehmen. Zusammenfassend kann festgestellt werden, dass die dargestellte Vorgehensweise eine sinnvolle Möglichkeit zur Beschreibung des Erregungszustandes eines Nutzers darstellt, da sie für grobe Tendenzbeobachtungen genutzt werden kann. Sie kann ebenso für eine konkrete Aussage über den Erregungszustand des Nutzers dienen. In diesem Fall werden die gewonnenen Merkmale jedoch in ein stochastisches Modell überführt, um eine Klassifikation im Sinne der Mustererkennung durchzuführen.

3.3 Erkennen 3.3.1 Modell Das Modell der Körpersignale eines Menschen besitzt verschiedene Eigenschaften[Vyzas & Picard 1999], [Simon 1996], [Wright et al. 1996]. Sie sind : • zustandsdiskret, da die Erregungszustände abzählbar sind (z.B. hoch erregt und niedrig erregt) • ereignisorientiert, da der Wert von Zustandsvariablen sich bei bestimmten Ereignissen verändert • stochastisch, da der Wert der Zustandsvariablen zu einem gegeben Zeitpunkt zufällig einen Wert annehmen kann • zeitdiskret, da die Signale zu bestimmten Zeitenpunkten gemessen werden können. Die Struktur dieses Modells kann folgendermaßen beschrieben werden: • Es besteht aus Erregungszuständen. • Die veränderlichen Erregungszustände werden durch Eigenschaften, (Zustandsvariablen) beschrieben. • Die Zustandsvariablen können in sichtbare Variablen (Ausgaben) und versteckte Variablen aufgeteilt werden. • Der Zustand des Systems ist gleich der Menge der Werte aller Zustandsvariablen. Analyseziele bestehen darin, Aussagen vor allem zum momentanen Zustand zu erhalten. Hidden-Markov-Modelle erscheinen als prädestiniert für die Erkennung von Erregungszuständen, da die Zustände selber nicht beobachtet (hidden states), aber die Signale, die dabei entstehen, gemessen werden können (Output). Die Übergangswahrscheinlichkeit von einem Zustand zum anderen (transition) wird durch eine Wahrscheinlichkeitsverteilung gesteuert.

3 Konstruktion einer Architektur von emotionalen Computersystemen

Ein in einem bestimmten Zustand gemessenes Signal entspricht einer bestimmten Wahrscheinlichkeitsverteilung. Typischerweise werden Erregungszustände und Eingangssignale von Sensoren als Zufallsvariablen beschrieben, die stochastischen Verteilungen genügen. Das Verhalten eines Erregungszustands eines Nutzers kann, stark abstrahiert, als stochastischer Prozess X(t) dargestellt werden. X(t) bezeichnet eine zeitabhängige Zufallsvariable, z.B. kann X(t) die Höhe von Körpersignalen zum Zeitpunkt t bezeichnen. Der zeitliche Verlauf des Systemzustandes kann dann auf dem Koordinatensystem dargestellt werden (x-Achse: Zeit t, y-Achse: Zustand X(t)). Die aus den Eingangsdaten Ed abgeleiteten Daten Ed’ aus dem Analysevorgang werden in ein stochastisches Modell als Eingangsparameter überführt (siehe Abbildung 15), da es in den meisten Fällen nicht ausreicht direkt aus Ed’ aussagekräftige Ergebnisse herzuleiten, da sie auf vereinfachenden Annahmen beruhen und nur einen groben Trend voraussagen können. Je detaillierter die Information über die Erregungszustände aufgelöst wird, desto höher ist die Unsicherheit in der gewonnen Information und desto fehlerhafter ist das darauf aufgebaute Modell ist [Zhou & Conati 2003].

67

3.3 Erkennen

68

3.3.2 Verfahren

Abbildung 15: Erkennung des Erregungszustandes Das Bilden von stochastischen Modellen (siehe Abbildung 15) in diesem Kontext hat den Hauptzweck, die physiologischen Signale eines Nutzers, in Echtzeit zu erfassen und Schlussfolgerungen über dessen Erregungszustand zu bilden. Die menschliche Physiologie ist ein komplexes dynamisches System, in dem viele interne und externe Faktoren eine Rolle bei der Entstehung von Erregungszuständen spielen. Das hier vorgeschlagene Modell wird sich auf zwei Hauptkategorien von Erregungszuständen konzentrieren, wie sie in der Psychologie definiert wurden (siehe Kapitel 1.3.2): •

Negative: (hohe Erregung) wie Ärger, (niedrige Erregung), wie Frustration



Positive: (hohe oder mittlere Erregung) wie Neutral und Freude, die mit Motivation gleichgesetzt werden können, (niedrige Erregung) wie Entspannung

Durch den Einsatz von stochastischen Verfahren aufgrund von Eingangsdaten, den daraus abgeleiteten Daten und den gebildeten Durchschnittswerten kann die Wahrscheinlichkeit eines vorhandenen Erregungszustandes herausgefunden werden. Der Einsatz von HiddenMarkov-Modellen (HMM) zum Aufbau eines stochastischen Modells und zur Entdeckung des aktuellen Erregungszustandes begründet sich vor allem dadurch, dass verschiedene Quellen

3 Konstruktion einer Architektur von emotionalen Computersystemen

der Unsicherheit existieren. Unabhängig von der Sensorart gilt, dass die Zustände sich in zwei Kategorien einteilen lassen, sichtbare und solche, die sich der direkten Beobachtung entziehen. Der momentane Zustand ist meistens vom vorhergehenden Zustand abhängt. Es existieren verschiedene Vorgehensweisen und Algorithmen für die Lösung von HMM, dabei geht man von einem Eingangsmodell aus, das aus der Merkmalsextraktion hergeleitet wird. Dabei kann direkt der Erkennungsprozess durch die Viterbi Variante [Viterbi 1967] durchgeführt werden. Voraussetzung ist, dass die Parameter bereits deutlich definiert werden können z.B. durch Erfahrungswerte oder durch Definition eines Experten der entsprechenden Domäne, in diesem Fall eines Psychologen. Wenn diese Möglichkeiten nicht bestehen, wird erst eine Lernphase durch den Welch-Algorithmus [Vyzas & Picard 1999] durchgeführt, um die Parameter im Modell zu bestimmen. Der Forward/Backward Algorithmus [Rabiner 1989] werden zur Optimierung der gefundenen Ergebnisse eingesetzt (siehe Abbildung 16).

Abbildung 16: Lösungsmodell für HMM

3.3.3 Zusammenfassung Eine Herausforderung bei der Entwicklung eines emotionalen Computersystems liegt in der Aufzeichnung von geeigneten Signalen und Daten, deren Qualität es erlaubt, ein zuverlässiges Modell aufzubauen. Erst die Erkennung von Mustern in diesen Daten macht eine sinnvolle Nutzung in Anwendungsdomänen möglich. Im Erkennungsprozess wird versucht, trotz zufälliger Schwankungen der Signale die Erregungszustände der Nutzer zu ermitteln. Diese Aufgabe wird als ein stochastischer Prozess klassifiziert. Es existieren unterschiedliche Methoden für die Lösung in dieser Problemklasse. Von diesen Methoden eignen sich die Hidden-Markov-Modelle (HMM) am besten zur Durchführung dieses Erkennungsprozesses, weil diese Modelle es u. a. erlauben, zwischen sichtbaren und unsichtbaren Zuständen zu unterscheiden.

69

3.4 Integrieren in Anwendungsdomänen

70

3.4

Integrieren in Anwendungsdomänen

„Emotionale Anwendungen“ zu entwickeln bedeutet, vereinfacht gesagt, den Parameter mit dem Wert des Erregungszustandes, der aus der Messung von Signalen und dem Erkennungsprozess resultiert, in geeigneter Weise in die Systemarchitektur einer Anwendung zu integrieren. Die Integration muss für den Nutzer zu sichtbaren Ergebnissen führen, d.h. sie muss einen Einfluss auf die Funktionalität, auf die Interaktion und auf die MMS zur Folge haben, wie in Kapitel 2.4 beschrieben wurde. Die Anwendungsmöglichkeiten des Parameters mit dem Wert des Erregungszustandes zur Konstruktion von emotionalen Computersystemen sind vielfältig, so kann es z. B. zur Erhöhung der Motivation in einem Lernsystem eingesetzt werden. Die Wahrscheinlichkeit, dass ein bestimmtes Verhalten beim Nutzer auftritt, kann dadurch erhöht werden, dass dieses Verhalten belohnt (verstärkt) wird. Als weitere Beispiele könnten auch physiologische Prozesse, einfach durch geeignete Anzeige des aktuellen Erregungszustandes, nach dem Prinzip des Biofeedbacks beeinflusst werden [Bruns & Praun 2002]. Um z.B. Lernprozesse zu fördern, kann eine Rückmeldung so dargeboten werden, dass sie genau dann verstärkend wirkt, wenn eine Lernmotivation in angestrebter Richtung gerade aufgebaut wird. Dazu wird der erkannte Erregungszustand in die Adaption der MMS einbezogen, um eine entsprechende, möglichst anschauliche multimodale Ausgabe z.B. durch einen SIA umzusetzen. Einige Aspekte und Funktionalitäten sind für viele Domänen, aber insbesondere für Lernsysteme und speziell für therapeutische Systeme gültig: •

Lernpsychologische Regeln: Die Wirkung von Belohnung ist im Allgemeinen sehr stark, daher sollte der positiven gegenüber der negativen Rückmeldung grundsätzlich Vorrang eingeräumt werden.



Motivationspsychologische Aspekte: Gerade zu Beginn einer Interaktion in einer „emotionalen Anwendung“ sollten bereits kleine Lernfortschritte belohnt werden, um anfänglichen Frustrationserlebnissen entgegenzusteuern.



Individuelle Vorlieben: Die Rückmeldung bei positiver Veränderung des Parameters für Erregungszustände muss von der betreffenden Person ebenfalls positiv erlebt werden. Hier gibt es unterschiedliche persönliche Vorlieben und Abneigungen. Die Rückmeldung, die eine Person als sehr angenehm und motivierend empfindet, kann einer anderen Person eher lästig sein. Es gilt also, die gewählten Rückmeldesignale jeweils in einem Nutzerprofil nicht nur kontext- sondern auch personenspezifisch abzustimmen, das kann durch das so genannte Selbstreport geschehen (siehe Kapitel

3 Konstruktion einer Architektur von emotionalen Computersystemen

2.3.2).

3.5

Kommunizieren und simulieren von Emotionen

Bei der „Interaktion“ der „emotionalen Kommunikation“ geht es um das Ausdrücken und die angemessene Übermittlung von Emotionen durch das Computersystem sowie die Aktivierung des Nutzers. Dies kann durch Visualisierung und durch andere multimodale Interaktionsmöglichkeiten via Audio, Video oder Touchscreen erreicht werden. Wie in Kapitel 2.2 beschrieben stellen SIAs eine der besten Methoden dar, um diesen Teil emotionaler Computersysteme zu realisieren. Eine wichtige Anforderung an die Kommunikation besteht darin, dass ein SIA die gesamte Interaktion mit seiner Umgebung und dem Nutzer selbst kontrollieren können muss und seine „eigenen Erfahrungen“ in die Interaktion mit der Umgebung einbringen kann.

3.5.1 Modalitäten SIAs sind Softwarekomponenten, die den Auftrag haben, mit den Nutzern zu kommunizieren. Sie zeigen gegenüber „normalen“ Software-Interaces menschliche Eigenschaften wie Aktivität, Reaktivität und Glaubwürdigkeit (siehe Kapitel 2.2) und sind bis zu einem gewissen Grad autonom, d.h. zur Eigeninitiative fähig. Bei der Konstruktion eines SIAs müssen die Bedürfnisse der Nutzer ebenso beachtet werden, wie Einschränkungen der Umgebung. Ebenfalls soll die Arbeitsweise und Produktivität des Nutzers durch den Einsatz eines SIAs positiv beeinflusst werden. Eine wichtige Anforderung besteht in der Konfigurierbarkeit eines SIAs. Dies betrifft, Aufgaben, die der SIA auszuführen hat, und Merkmale des SIAs. Das Verhalten des SIAs soll leicht voraussagbar sein, allerdings kann eine zu starke Vereinfachung den Eindruck zerstören, als „lebendige Persönlichkeit“ zu wirken. In jedem Fall muss das Verhalten eines SIAs zu dessen „Persönlichkeit“ passen, um glaubwürdig zu wirken, egal wie komplex ein SIA strukturiert ist.

3.5.2 Emotionsmodell in SIAs abhängig vom Erregungszustand des Nutzers Wie in Kapitel 2.2.2 gezeigt wurde, gibt es verschiedene Emotionstheorien, die für die Implementierung von SIAs in Frage kommen. Das OCC-Modell wird als quasi Standard in diesem Bereich akzeptiert. Da im OCC-Modell die „Emotionen der SIAs“ jedoch unabhängig von den Erregungszuständen der Nutzer betrachtet werden, wird hier eine Erweiterung dieses Modells konstruiert, das den Erregungszustand der Nutzer mit einbezieht. Nach diesem erweiterten Modell werden die „Emotionen im SIA“ durch eine Funktion beschrieben, die zusätzlich auch durch den Erregungszustand des Nutzers bestimmt wird. Dieses erweiterte Modell kann als n-dimensionaler Vektor beschrieben. Bei der Darstellung

71

3.6 Zusammenfassung

72

eines 3-dimensionalen Vektors im Koordinatensystem stellt die X-Achse die Valenz des Erregungszustands (positiv oder negativ) und die Stärke des Erregungszustands dar. Die Y-Achse stellt den Erregungszustand selber dar, der von der Valenz und der jeweiligen Intensität abhängt. Die Dauer des Erregungszustands kann als eine weitere Dimension auf der Z-Achse dargestellt werden. Die Länge des Erregungszustandes beeinflusst die Reaktion des SIAs. Theoretisch ließe sich dieser Vektor um weitere Dimensionen erweitern. In dieser Arbeit werden nur die drei erwähnten Dimensionen berücksichtigt. Jeder Punkt im Koordinatenraum stellt eine mögliche Reaktion des SIAs dar. So könnten SIAs durch dieses Modell so eingestellt werden, dass sie „zurückhaltend“ wirken, wenn der Nutzer positiv erregt ist, ihre Motivationsarbeit aber intensiv einbringen, wenn sie negative Erregung beim Nutzer feststellen. Wird auch die Dauer einer Erregung berücksichtigt, so kann der SIA bei einer kurzfristigen Frustration anders reagieren als bei einer lang anhaltenden Frustration. Angelehnt an das OCC-Modell (siehe Kapitel 2.2.2.1) kann für die Darstellung von Emotionen in SIAs die Funktion Er(v,i,d) Æ Em(i,e,t) dargestellt werden: die Emotion (Er) einer bestimmten Valenz (v), einer Intensität mit einer bestimmten Dauer (d). Diese Funktion dient zur Darstellung der Emotionen in SIAs sowohl bei negativen als auch bei positiven NutzerErregungszuständen. Dabei ist (Em) die Emotion, die bei einem bestimmten Ereignis für einen SIA mit einer Intensität für die Zeitdauer (t) ausgelöst wird. Z.B. IF Er(v,i,d) > S //wobei S einen Schwellenwert darstellt THEN set Emj(i,e,t) = x //wobei x eine Emotion in SIA j darstellt 3.5.3

Zusammenfassung

SIAs können die Adaptivität einer MMS für einzelne Nutzer optimieren, indem der Erregungszustand des Nutzers in Kombination mit dessen Nutzerprofil der Kommunikation zwischen Nutzer und SIA zugrunde gelegt wird. Damit können für verschiedene Nutzer individuelle Interaktionsformen realisiert werden. Anwendungsdomänen können durch die Nutzung des oben beschrieben erweiterten OCC-Modells für die Simulation von Emotionen in SIAs flexibel realisiert werden (siehe Kapitel 3.5.2). Dabei ist für die Simulation der Emotionen durch SIAs der Erregungszustand des Nutzers entscheidend. Es werden mehrere Ausprägungen des Erregungszustandes berücksichtigt, nämlich Valenz, Intensität und Dauer.

3.6 Zusammenfassung In der vorgestellten Architektur, die als Erweiterung vorhandener Konzepte konstruiert ist,

3 Konstruktion einer Architektur von emotionalen Computersystemen

wurden alle Bausteine beschrieben, sodass sie als Grundlage für unterschiedliche Implementierung dienen können. Dazu gehören: • Die relevanten Klassen von Sensoren (optische, akustische, somatische und BioSensoren), die für die Messung von menschlichen Signalen eingesetzt werden können • Ein Modell für die Messmethode und zur Extraktion von Merkmalen • Die Erkennung von Erregungszuständen durch stochastische Verfahren aus den abgeleiteten Eingangsdaten o Auf Basis von statistischer Beschreibung wird ein stochastisches Modell vorgeschlagen, das die Wahrscheinlichkeit des Auftretens bestimmter Erregungszustände und die Übergangswahrscheinlichkeiten von einem Zustand in einen anderen modelliert o Dieses Modell kann theoretisch mit einem der in Kapitel 2.1.4 dargestellten Verfahren gelöst werden. In dieser Arbeit werden Hidden-Markov-Modelle (HMM) als Verfahren eingesetzt (siehe Kapitel 4.5.4). • Zur Anwendung in einer Domäne soll der erkannte Erregungszustand mit anderen Parametern kombiniert werden. Z.B. kann ein Modell auf Eingangsparametern aus unterschiedlichen Quellen beruhen. • Die in diesem Kapitel vorgestellte Architektur kann zur Konstruktion von unterschiedlichen emotionalen Anwendungen eingesetzt werden, z.B. E-Learning, Software Usability, Hilfesysteme für Senioren und für behinderte Menschen. • Wesentliche Teile der MMS, z.B. die Visualisierung und die Interaktion, werden anhand von SIAs realisiert. Die SIAs sind prädestiniert für diese Aufgabe, da eine Kombination aus verschiedenen Komponenten (z.B. Mimik) und Medien (z.B. Sprachausgabe) effektiv eingesetzt werden kann. Zudem eignet sich ihre menschenähnliche Gestalt gut für die Simulation von Emotionen.

73

4.1 Überblick

74

4 TAPA: Training by Animated Pedagogical Agents 4.1 Überblick

Psychologische Trainingskonzepte der NeuroRehabilitation

Aspekte: Motivationspsycho-logische und affektive Einbettung

Metagedächtnisforschung

Neuro-psychologisches Modell kognitiver Störungen

TAPA AgentenTechnologie

Inputtechnik: Touchscreen-, Spracherkennung,Hautleitsens oren

AuswertungsVerfahren Adaptive E-Learning Systeme

Nutzung multimedialer Zugangswege und Anbindung ans Internet Stochastische Verfahren z. B. Markov

Informationstechnologische Aspekte:

Abbildung 17: Aspekte von TAPA TAPA ist ein emotionales Computersystem basierend auf der in Kapitel 3 beschriebenen Architektur. Mit der Entwicklung von TAPA wurden zwei Ziele verfolgt: • Die praktische Umsetzung und Demonstration der Einsatzfähigkeit eines emotionalen Computersystems auf Basis der vorgestellten Architektur. • Training von Metagedächtnisstrategien unter Einbeziehung des Erregungszustandes bei lernbehinderten Kindern. Des Weiteren wird eine Förderung der Metagedächtnisleistung angestrebt. Dabei werden nicht nur kurzfristige Verbesserungen beabsichtigt.

4 TAPA: Training by Animated Pedagogical Agents

In Abbildung 17 werden die Komponenten von TAPA dargestellt. Für die Entwicklung ist Wissen aus unterschiedlichen Bereichen der Informationstechnologie und der Psychologie notwendig. Aus der Psychologie gehört dazu Wissen über Lernbehinderungen und Maßnahmen zu deren Kompensation (siehe Kapitel 4.2). Aus der Informationstechnologie sind dies Komponenten u. a. aus der Stochastik, Agententechnologie und Adaptivität von Informationssystemen. Diese Komponenten sollen untersucht und im Rahmen der Bildung des TAPA Systems Berücksichtigung finden. TAPA ist nach dem Prinzip des „Storytellings“ aufgebaut und integriert die Lerneinheiten in einer Geschichte, in die der Nutzer involviert und dadurch motiviert wird. Es finden Dialoge zwischen den SIAs und dem Nutzer in einer virtuellen graphischen Umgebung statt. Der Nutzer wird dabei interaktiv in ein vorgespieltes Gespräch eingebunden. Wissen kann auf diese Weise einfach vermittelt werden. Über den erfolgreichen Einsatz von Storytelling wurde bereits berichtet, z.B. in der Entwicklung von Spielen mit spannenden Geschichten für Mädchen im Projekt „Purple Moon“ [Laurel 1998]. In TAPA soll zusätzlich zur Adaptivität des Systems u. a. der aktuelle Erregungszustand des Nutzers berücksichtigt werden. Die Interaktion mit dem Nutzer wird durch SIAs realisiert (siehe Kapitel 3.5) und durch Techniken wie Touchscreen und Sprachein-/ausgabe unterstützt. Es werden weitere Parameter neben dem Erregungszustand des Nutzers ausgewertet, wie z.B. der Selbstreport (siehe Kapitel 4.5.1), Performanz (Sort) (siehe Kapitel 4.5.2) und die Strategieperformanz (Recall) (siehe Kapitel 4.5.3). Die Adaption der MMS beschränkt sich nicht auf die Einstellung der Schwierigkeitsstufe des Trainingsystems, sondern bezieht viele weitere Aspekte mit ein, z.B. • Emotionen und Verhalten der SIAs • Länge und Art der Dialoge • Auswahl der nächsten Szenen • Verlauf der Geschichte und des Trainings.

4.2 Lernbehinderung als Anwendungsdomäne Die Begriffe „lernbehindert“ oder „Lernbehinderung“ sind um 1960 im Zusammenhang mit der Umbenennung der Hilfsschule in „Schule für Lernbehinderte“ entstanden. Es ist nicht einfach, sie inhaltlich klar zu fassen und von anderen Begriffen wie z.B. Schulleistungsschwäche, Lernversagen oder Lernstörungen abzugrenzen. Eine Lernbehinderung fällt nicht direkt auf, springt nicht „ins Auge“, wie z.B. die Bewegungsbeeinträchtigung bei einem körperbehinderten Kind oder die offensichtlichen Orientierungsprobleme bei einem blinden Menschen [Weiß 2004].

75

76

4.2 Lernbehinderung als Anwendungsdomäne

Lernbehinderung zeigt eine mangelnde Passung zwischen den Handlungs- und Lernmöglichkeiten eines Kindes und den in der Allgemeinen Schule üblicherweise bestehenden und in Lehrplänen festgelegten Lernanforderungen [Schröder 2000]. Diese mangelnde Passung drückt sich aus in problematischen und scheiternden schulischen Lehr- und Lernprozessen, wenn man die Angebote, die unterrichtlichen Vermittlungsformen und das Anforderungsniveau der Allgemeinen Schule als Bezugspunkt der Beurteilung nimmt [Kobi 1975]. Haverkamp hat in einem übergreifenden Ansatz die Informationsverarbeitung von Kindern mit Lernbehinderungen untersucht und dabei ein Defizit insbesondere bei der sequentiellen Informationsverarbeitung festgestellt. In diesem Zusammenhang diskutiert er die Frage, inwieweit Störungen des so genannten Metagedächtnisses für diese Probleme (mit)verantwortlich sind [Haverkamp et al. 1998]. Es wurde nämlich festgestellt, dass diese Kinder Entwicklungsverzögerungen des strategiebezogenen Metagedächtnisses aufweisen, die sich in der ineffektiven Nutzung von Gedächtnisstrategien (insbesondere Organisationsstrategien) offenbaren und eine reduzierte Reproduktionsleistung zur Folge haben [Perleth 1992]. Der systematische Einsatz von Strategien gilt als ein wesentliches Merkmal intelligenten Lernverhaltens und ist Bedingung guter Gedächtnisleistungen [Hasselhorn et al. 1996]. Die Vermittlung einer Strategieanwendung bei Lern- und Gedächtnisaufgaben kann daher zu einer Steigerung der Lernleistung Lernbehinderter beitragen. Insofern gilt nicht nur die Anwendung der Organisationsstrategie als Kriterium für Trainingseffektivität, sondern auch eine entsprechende Leistungssteigerung (bedingt durch die Strategieanwendung).

4.2.1 Interventionsmethode Die Vermittlung von Metagedächtnisstrategien stellt aufgrund der Defizite lernbehinderter Kinder und Jugendlicher eine wesentliche Komponente des im Rahmen dieser Arbeit entwickelten Trainingsystems dar. Die Fähigkeit nach Oberbegriffen zu ordnen ist mittels so genannter Sort-Recall- und FreeRecall-Aufgaben bei kategorisierbarem Lernmaterial überprüfbar. Während bei der FreeRecall-Aufgabe die Objekte in einem schnellen Rhythmus seriell präsentiert werden, wird das Lernmaterial der Sort-Recall-Aufgabe für eine längere Zeit simultan dargeboten. Im Gegensatz zur Free-Recall-Aufgabe liefert die Sort-Recall-Aufgabe detaillierte Informationen über das Lernverhalten [Perleth 1992]. Die Nutzer können sich – entweder zeitlich begrenzt oder unbegrenzt – mit dem Lernmaterial (i. d. R. Bildkarten) beschäftigen und dieses selbst anordnen. In der Abrufphase können die Objekte in beliebiger Reihenfolge reproduziert werden. Damit lassen sich anhand der Sort-Recall-Aufgabe ein Strategieindikator für die Lern- und einer für die Abrufphase ermitteln. Darüber hinaus können Indikatoren zum Gebrauch von

4 TAPA: Training by Animated Pedagogical Agents

Organisationsstrategien und die Gedächtnisleistung erfasst werden. Bei der Free-RecallAufgabe hingegen ergeben sich Hinweise auf den Einsatz von Organisationsstrategien aus der Anordnung der Objekte nur in der Abrufphase. Zur Vermittlung von effektiven Gedächtnisstrategien wurden deshalb in TAPA Sort-RecallAufgaben implementiert. Dazu wurde den Kindern das Lernmaterial entsprechen dieser Methode präsentiert.

4.3 Evaluationsinstrumente Zur Evaluation des Trainingssystems TAPA sollte ermittelt werden, in welchem Umfang den Teilnehmern kategoriales Organisieren vermittelt werden konnte, welche Gedächtnis- und Metagedächtnisleistungen bei ihnen vorliegen. Es werden zwei Parameter gemessen: o Wie werden Objekte in Gruppen in der Lernphase sortiert o Wie werden Objekte in Gruppen geordnet bei der Wiedergabe (Recallphase) Für beide Parameter stehen verschiedene Gruppenindizes zur Verfügung [Roenker et al. 1970]. •

Pionierarbeit wurde mit der Entwicklung des Ratio of Repetition (RR) zur quantitativen Bestimmung von Organisationstendenzen geleistet.



Der von Roenker [Roenker et al. 1970] entwickelte Adjusted Ratio of Clustering (ARC), der dem Ratio of Repetition in diesem Bereich als überlegen gilt. ƒ

Der wichtigste Vorteil liegt in der relativen Unabhängigkeit des ARC von der Reproduktionsleistung

ƒ

Weiterer Vorteil des ARCs liegt in der Unabhängigkeit von der konkreten Zusammenstellung der Lernliste (Objekte) zu sehen. Dadurch können auch zwischen unterschiedlichen Lernlisten Vergleiche angestellt werden. Im Falle korrekter Anordnung nimmt der ARC einen Wert von 1 an, im Fall zufälliger Ordnung den Wert 0. Negative Werte zeigen eine „unterzufällige Ordnung“ der Objekte an

Das Wissen um das eigne Gedächtnis (Metagedächtnis) kann mittels verschiedener Methden evaluiert werden. Zur Evaluation von TAPA legte die Untersuchungsleiterin den Kindern Metagedächtnisinterviews, Metagedächtnisfragebögen und so genannte Ratingprozeduren (Paarvergleiche oder Rangreihenbildung) vor, die ein allgemein anerkanntes und unabhängiges Messverfahren darstellen. Speziell bei Kindern und Jugendlichen mit einer Lernbehinde-

77

4.3 Evaluationsinstrumente

78

rung besteht die Gefahr, ihre Fähigkeit systematisch zu unter- oder zu überschätzen, da ihnen gerade die Beschreibung psychischer Phänomene Schwierigkeiten bereitet [Schröder 2000]. Die „falsche“ Beantwortung eines Objektes lässt sich somit nicht eindeutig als Wissensdefizit interpretieren

und

Mitteilungsprobleme

müssen

in

Betracht

gezogen

werden.

In dem Trainingssystem TAPA wurde zudem das Instrument der Selbsteinschätzung implementiert. Zur Selbsteinschätzung werden die Nutzer vor Beantwortung einer Lernaufgabe dazu aufgefordert, einzuschätzen wie viele Objekte sie behalten können. Der Vergleich des Prognosewertes mit der tatsächlich erzielten Leistung ergibt den Metagedächtnisindikator. In TAPA erfolgt die Selbsteinschätzung im Dialog mit den SIAs. Die Antworten der Kinder können über Spracheingabe oder durch ein Eingabeformular erfolgen. Die Antworten werden für den Entscheidungsprozess in den TAPA-Protokollen festgehalten.

4 TAPA: Training by Animated Pedagogical Agents

4.4

Die TAPA-Story

Im Folgenden ist eine kurze Darstellung der Rahmenhandlungen die eine Grundlage für die Bildung der Szenarien in TAPA bilden: Nachdem sich Bonzi, Merlin (zwei SIAs in dieser Geschichte (siehe Tabelle 3)) und das Kind „kennen gelernt“ haben, fragen die zwei, ob es ihnen helfen will ihren Freund Peedy (einen weiterer SIA) zu befreien. Um den bösen Zorgo (ein SIA), der Peedy gefangen hält, einzuschläfern, beschließt Merlin einen Zaubertrank zu brauen. Dafür benötigt er jedoch noch Zutaten, die das Kind sich merken und im Hexenshop einkaufen soll. Dabei hilft Bonzi dem Kind, ist aber nicht wirklich eine Hilfe, sondern macht eigentlich alles nur falsch. Da auch das Kind mit Sicherheit etwas vergessen wird, denn die Aufgabe ist so schwer für die jeweilige Altersnorm angelegt, dass man nicht alles behalten kann, kehren Bonzi und das Kind zu Merlin zurück und fragen ihn, wie sie sich die Sachen besser merken können (z.B. Tiere: Frosch, Maus, Schlange, Nahrungsmittel: Käse, Suppe, Kekse Pflanzen: Kaktus, Blume, Blatt Süßigkeiten: Eis, Schokolade, Lutscher). Merlin erklärt daraufhin die Strategie des „kategoriales Organisierens“ und das Kind und Bonzi wiederholen die Aufgabe. Während Merlin dann den Betäubungstrank kocht, üben das Kind und Bonzi diese Strategie noch an einer weiteren Einkaufs-Aufgabe: Merlin schickt das Kind und Bonzi zu einem Magier-Ausrüstungsgeschäft (SIAs: Genie und Ozzar) um einige Zauber-Bücher und -Utensilien auszuleihen, die Merlin evtl. zur Bekämpfung von Zorgo benötigt. Diese Gegenstände sind ebenfalls kategorisierbar (z.B. Werkzeuge: Hammer, Säge, Schraubenzieher Kleidung: Hose, Hut, Schuhe Insekten: Ameise, Biene, Grashüpfer Getränke: Kaffee, Orangensaft, Cola). Auch hier erklärt Merlin wieder die Strategie und Bonzi begleitet das Kind. Wenn wenigstens 6 dieser Gegenstände erinnert und entsprechend besorgt wurden, ziehen Merlin, Bonzi und das Kind los zu Zorgos Versteck (z.B. eine gruselige Burg), um Peedy zu befreien. Hier kommen Sie zu einem sprechenden Tor, bei dem es erneut gilt, die an einem vor gelagerten Platz ausgestellten, diesmal abstrakteren Begriffe zu kategorisieren, auswendig zu lernen und dann dem sprechenden Tor aufzusagen, damit man durchgelassen wird, (hier hilft der SIA Elesie). Merlin schickt nach entsprechender Hilfestellung auch hier wieder Bonzi und das Kind vor, da das Tor ihn an der Stimme erkennen könnte und sich dann nicht mehr öffnen würde. Nachdem diese Aufgabe gelöst wurde, kommt das Finale in dem Merlin mit einem mächtigen Zauberspruch Zorgo vertreibt und Peedy aus einem Verlies befreit. Peedy, Bonzi und Merlin bedanken sich dann bei dem Kind und laden es zu weiteren Abenteuern ein, da Zorgo ja auch weiterhin sein Unwesen treiben wird...

79

4.4 Die TAPA-Story

80

Merlin

Genie

Bonzi

Ozzar

Elisie Zorgo

Wartnose

Steinbeißer

Peedy

Tabelle 3: SIAs in der TAPA Story

4.4.1 Beschreibung der Szenen Wenn Kinder anfangen die Welt um sich herum zu begreifen, reift die Erkenntnis, dass man Objekte kategorisieren kann, um sie besser im Gedächtnis zu behalten. Das Wissen über die eigene Fähigkeit zu kategorisieren ist Teil der so genannten Metagedächtnisfähigkeit. Wenn diese Fähigkeit bei Kindern unterentwickelt ist, trägt dies zu Lernbehinderung bei (siehe Kapitel 4.2). Deshalb wurden für TAPA Aufgaben speziell zum Training dieser Fähigkeit entwickelt. Hier wird eine Szene aus TAPA beschrieben, in der dem Kind verschiedene Objekte unstrukturiert und simultan präsentiert werden (siehe Abbildung 18).

Abbildung 18: Strategieaufgabe

4 TAPA: Training by Animated Pedagogical Agents

Abbildung 19: Richtige Lösung der Strategieaufgabe In Abbildung 19 ist das eigentliche Ziel beschrieben, nämlich die Objekte in Kategorien aufzuteilen, um sie besser auswendig zu lernen und behalten zu können, und genau hier setzt TAPA an, indem die SIAs versuchen, dem Kind diese Lernstrategie beizubringen (Strategieperformanz). Die zweite Aufgabe in diesem Zusammenhang ist das Auswendiglernen der Objekte und ihre Wiedergabe (Performanz).

81

4.4 Die TAPA-Story

82

4.4.2 Szenenkette In Abbildung 20 wird ein Entwurf für alle Szenen und ihre Abfolge im TAPA System dargestellt. Abhängig von den Werten der eingesetzten Parameter wird der gesamte Ablauf des Trainings gesteuert. Der Entscheidungsprozess verändert z. B. Anzahl der präsentierten Objekte, die Reaktionen der SIAs oder Länge der Szenen. Es findet zu bestimmten Zeiten innerhalb einer Szene oder zwischen den Szenen statt (siehe Kapitel 4.5). Merlins Demonstrations-Aufgabe

Merlins erste Einkaufaufgabe

Merlins zweite Einkaufaufgabe

Elises Toraufgabe

Zorgos Kelleraufgabe

2 Gruppen mit je

2 Gruppen mit je

2 Gruppen mit je

2 Gruppen mit je

2 Gruppen mit je

3 Objekten

3 Objekten

3 Objekten

3 Objekten

4 Objekten

leicht

3 Gruppen mit je

3 Gruppen mit je

3 Gruppen mit je

3 Gruppen mit je

3 Gruppen mit je

3 Objekten

3 Objekten

3 Objekten

3 Objekten

4 Objekten

mittel schwer 4 Gruppen mit je

4 Gruppen mit je

4 Gruppen mit je

4 Gruppen mit je

3 Objekten

3 Objekten

3 Objekten

3 Objekten

4 Gruppen mit je 4 Objekten

Tiere: Frosch, Maus, Schlange

Werkzeug: Hammer, Säge, Schraubenzieher

Körperteile: Hand, Ohr, Mund

Wetter: Sonne, Wolke, Eiszapfen

Fahrzeuge: Auto, Bus, Lkw, Straßenbahn

Nahrungsmittel: Käse, Suppe, Kekse

Kleidung: Hose, Hut, Schuhe

Spielzeug: Bauklötze, Fußball, Karten

Elektrogeräte: Handy, Fernseher, Fotoapparat

Sportgeräte: Hantel, Fußball, Boxhandschuhe, Rollerblade

Insekten: Ameise, Biene, Grashüpfer

Musikinstrumente: Flöte, Geige, Trommel

Badezimmer: Toilette, Kamm, Zahnbürste

Gebäude: Schloss, Fabrik, Kirche, Mühle

Getränke: Kaffee, Orangensaft, Cola

Möbel: Tisch, Stuhl, Bett

Schreibwaren: Bleistift, Zirkel, Lineal

Pflanzen:

Kaktus,

Blume, Blatt

Süßigkeiten: Eis, Schokolade, Lutscher

Abbildung 20: Darstellung der Einstellungsstufen in TAPA

Tiere: Fuchs, Hahn, Igel, Fisch

4 TAPA: Training by Animated Pedagogical Agents

Darüber hinaus finden folgende Variablen Berücksichtigung bei der Adaption innerhalb der einzelnen Szenen: • Variablen zur Beschreibung der Emotionen und Persönlichkeit der SIAs o Persönlichkeitstypen nach dem Modell von McCrae (siehe Kapitel 2.2.2) o Variablen zur Simulation von Emotionen durch die SIAs, wie z.B. Emotionstype, Emotionsintensität und Emotionsdauer (siehe Kapitel 3.5) • Variablen zur Beschreibung der Nutzerziele (Goals), abhängig von der aktuellen Szene und die darin enthaltenen Aufgaben kann das Ziel geschätzt werden • Variablen zur Beschreibung des Erregungszustandes des Nutzers • Variablen zur Beschreibung der Interaktionen mit dem Ziel, Aktionen und simulierten Emotionen der SIAs zu steuern, sie bewirken, dass: o Dem Kind Hilfe angeboten wird, wenn es Fehler macht oder die Leistung stagniert o Oder, dass die SIAs Lob aussprechen und sich allgemein zurückhalten, wenn das Kind gute Performanz zeigt.

83

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

84

4.5

Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

E Ziele

v

Performanz

E Ziele

a

v

Performanz

l Hautleitsignale

u t

Selbstreport

o

Performanz

l Hautleitsignale

a Andere Parameter

a

Ziele

u a

Andere Parameter

t

Selbstreport

o

i n

T1

Hautleitsignale

Andere Parameter

i Selbstreport

n Tn-1

Tn

Abbildung 21: Darstellung des Entscheidungsprozesses Wie in Abbildung 21 dargestellt, basiert der Entscheidungsprozess auf Daten, die hauptsächlich während des Ablaufs der Szenen gesammelt und verdichtet werden. Zwischen den Szenen wird dann eine Evaluation aller Parameter durchgeführt und die adaptierenden Variablen entsprechend eingestellt (siehe Abbildung 21). Dieser Entscheidungsprozess wurde in der aktuellen Version durch eine endliche Maschine realisiert. Im Folgenden werden die Hauptparameter beschrieben, die die Grundlage für den Entscheidungsprozess bilden: Der Experimentaufbau des TAPA-Systems wie er zur Erkennung und Berechnung entworfen wurde, besteht aus folgenden Komponenten: • Sensoren zur Messung der Hautleitfähigkeit (GSR) • Basisstation mit serieller Schnittstelle • Auswertungsalgorithmen, wie z.B. zur Erkennung des aktuellen Erregungszustandes oder zur Berechnung der aktuellen Performanz • Nutzerprofil • Beobachtung durch einen Experten, um die automatisch erworbenen Daten zu validieren

4 TAPA: Training by Animated Pedagogical Agents

• Protokollierungssystem, das alle Aktionen des Nutzers und Ereignisse des Systems festhält. Neben geeigneten Auswertungsalgorithmen müssen dem System genügend Informationen über die motivationale Situation und das Leistungsniveau des Kindes zugänglich gemacht werden. Aus diesem Grund wurden beispielsweise Hautleitfähigkeitssensoren eingesetzt, um die Hautleitfähigkeit zu messen und durch einen Algorithmus den Erregungszustand des Kindes zu erkennen. Für die Berechnung der adaptiven Variablen wurden u. a. folgende Parameter mitberücksichtigt: Antwortlatenz, Merklatenz, Strategieeinsatz, Selbstreport (siehe Abbildung 22).

Abbildung 22: Informationsquellen Während des Trainingsablaufs werden Informationen gewonnen aus denen der aktuelle Motivations- und Leistungsstand des Kindes erkannt wird, um eine eindeutige und effektive Reaktion der adaptiven Funktionen im Training zu realisieren. Zur Entscheidung des Systems, eine bestimmte adaptive Funktion auszuführen, wird jedoch auch noch das Nutzerprofil herangezogen. Zur näheren Erläuterung werden alle Parameter zur adaptiven Steuerung des TAPASystems in den folgenden Kapiteln (4.5.1- 4.5.4) dargestellt.

4.5.1 Selbstreport Der erlebte „Spaß“ bei der Bearbeitung der Aufgaben wird unter pragmatischen Gesichtpunkten als zumindest in einer Schnittmenge zur „echten“ Lernmotivation stehend angenommen.

85

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

86

Es wird davon ausgegangen, dass hier mit ein Teilbereich der Motivation erfasst wird, weitere Aufgaben zu bearbeiten. Hierfür wird das Instrument des Selbstreports eingesetzt [Tebarth et al. 2000]. Der Selbstreport ist eine Methode, die dem Nutzer erlaubt, Feedback über das eigene Befinden an das System mitzuteilen (siehe Kapitel 2.3.2). Dieses kann über verschiedene Techniken, z.B. Formulare, realisiert werden, da die Nutzergruppe von TAPA Kinder sind, wurde ein so genannter Spaßometer (siehe Abbildung 23) als eine kindgerechte Methode hierzu entworfen. In therapeutischen Systemen ist es wichtig zu erkennen, ob sich die Nutzer über- oder unterschätzen, um die Interaktion entsprechend anzupassen. Die Likertskala-Funktionalität wurde durch den Clownkopf und die Säule in der Mitte realisiert. Der Clownkopf zeigt 5 verschiede Stati von fröhlich bis traurig. Die Säule in der Mitte nimmt auch fünf Zustände an von ganz leer bis ganz voll.

Abbildung 23: Spaßometer Spaßometer stellt eine Likertskala dar (siehe Abbildung 23). Die Likertskala formuliert und ordnet eine Reihe von eindeutigen Aussagen, die tendenziell eine negative oder positive Einstellung gegenüber einem Einstellungsobjekt darstellen [Berekoven et al. 1999]. Werte der Likertskala in TAPA: Stufenlose Einstellung mit 5 orientierenden Punkten: +,+,0,-,-. jedoch zum Zwecke der für Adaptivität herunter gebrochen auf eine dichotome Skala (positiv/negativ)=(+/-)

4 TAPA: Training by Animated Pedagogical Agents

87

4.5.2 Leistung (Performanz) / Recall Die Fähigkeit des Nutzers die vorgegebenen Ziele zu erreichen wird hier Performanz oder auch Recall genannt. Im Kontext von TAPA wird die Performanz durch die Anzahl der gelernten und wiedergegebenen Objekte ermittelt. Werte der Performanz in TAPA: Leistung (Performanz) = (effective /ineffective)

4.5.3 Strategieperformanz / Sort Dieser Parameter gibt an, wie der Grad der Strategieanwendung ist. In TAPA wird dieser Wert aus der Anzahl der korrekt in Gruppen sortierten Objekte in Verhältnis zu der Gesamtzahl der Objekte ermittelt. Grad der Strategieperformanz in TAPA: Es werden 3 Stufen (wenig, Mittel, gut) unterschieden. Es wird dann aus Performanz und Strategieperformanz eine Kombination wie folgt gebildet:

Leistung (Performanz) = (memorial strategy, no memorial strategy). Die Kombination aus Performanz und Strategieperformanz (Sort-Recall) ergibt (effective memorial

strategy/ineffective

memorial

strategy

/

effective

nostrate-

gy/ineffective no Strategy)=(ems/ims/ens/ins)

4.5.4 Erregungszustand Die Hautleitfähigkeit steht als physiologisches Erregungsmaß in einem indirekten, aber linearen Zusammenhang zu einer allgemeinen Stärke des Erregungszustandes (cortical arousal) [Lachnet 1994], [Lim et al. 1996], [Lim et al. 1999], [Nagai et al. 2004a], [Nagai et al. 2004b], [Nikula 1991]. Bereits seit langer Zeit wird postuliert, dass grundsätzlich ein statistisch mittleres Maß des Erregungszustandes Vorraussetzung für eine möglichst effektive Informationsverarbeitung bzw. Lern- oder auch Gedächtnisleistung ist. Neuere Forschung konnte diese Annahme auch belegen [Imhof 1998], [Revelle 1992], [Zajonc 1965]. Aus der Messung der Hautleitfähigkeit jedoch Rückschlüsse auf den Erregungsstand des Nutzers ziehen zu können, stellt eine große Herausforderung dar. Das für TAPA entwickelte Modell berücksichtigt die für die Bildung eines emotionalen Computersystems (z.B. hoch erregt positiv, hoch erregt negativ, neutral, wenig erregt positiv, wenig erregt negativ) (siehe Kapitel

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

88

3.3) und stellt somit auch die nutzergerechten Adaptionen sicher. Die Eingangsparameter des TAPA Modells basieren auf eine Messung der Hautleitfähigkeit mit Hilfe eines Hautleitfähigkeitssensors (GRS). Dieser Sensor kann Messungen ab 1 Mal/20 Millisekunden durchführen. Darauf aufbauend werden die Messwerte akkumuliert, berechnet und anschließend der Erregungsstand erkannt (siehe 3.1, 3.2 und 3.3). Im Folgenden werden die Eingangsparameter (beobachtbare Zustände) des Modells beschrieben. Alle berechneten Parameter basieren auf dem Eingangssignal (Si), das durch die Sensoren zurückgemeldet wird. Die Messhäufigkeit ist variabel (>= 20ms) und kann individuell eingestellt werden. Die Messhäufigkeit in einer Minute wird hier als Mn bezeichnet. • 1 Minutendurchschnitt (D1M): Beim Durchschnitt einer Minute wird der Mittelwert der Einzelmessungen Si berechnet • Szenendurchschnitt (DS): Beim Szenendurchschnitt wird der Mittelwert der Messungen in einer Szene berechnet. Die Anzahl der Messungen ergibt sich aus dem Quotienten der Laufzeit einer Szene in Minuten (DSmn) und Anzahl der Messungen in einer Minute (Mn) • Gesamtdurchschnitt (Baseline BS): Beim Durchschnitt des gesamten Trainings (BASELINE) wird der Mittelwert der Einzelmessungen Si einer gesamten Trainingssitzung berechnet. Es ist der Quotient der Summe aller Si und der Anzahl der gesamten Messpunkte in der gesamten Sitzung. Der Mittelwert wird auch als arithmetisches Mittel oder bester Schätzwert für den wahren Wert bezeichnet. • 3 Minutendurchschnitt (D3M): Beim Dreiminutendurchschnitt wird der Mittelwert aus der Summe der Einzelmessungen Si geteilt durch die Anzahl der Messzeitpunkten • Signalvarianz einer Messreihe (SV): Die Streuung der einzelnen Messwerte Si um den arithmetischen Mittelwert BS lässt sich durch die Varianz (auch genannt: Varianz einer Messreihe) darstellen:

1 N (Si − BS ) 2 VS = ∑ N − 1 i =1 Da es erst ab N=2 möglich ist eine Varianz zu berechnen, wurde die Formel entsprechend angepasst und durch N-1 erweitert. Es wurde in mehreren psychologischen Untersuchungen belegt, dass eine erhöhte Signal-Varianz der Hautleitfähigkeit, ein Indikator für negative Erregungszustände darstellt [van Oyen et al. 1995]. Diese Annahme bildet in dieser Arbeit die Grundlage, um zwischen positiver oder negativer Valenz der Erregungszustän-

4 TAPA: Training by Animated Pedagogical Agents

de zu unterscheiden. Auch Levenson hat in seinen Studien mit der Hautleitfähigkeit herausgefunden, dass negative Erregungszustände signifikant höhere Hautleitfähigkeitssignale als die positiven Erregungszustände produzieren, d.h. die Varianz bei negativen Erregungszuständen ist signifikant höher als bei positiven [Krause 1996], [Levenson et al. 1990].

89

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

90

4.5.4.1

Beschreibung als Hidden- Markov-Modell (HMM)

Stochastische Prozesse sind Prozesse mit Gedächtnis: der momentane Zustand hängt vom vorangegangen Zustand ab. Betrachten wir aber den diskreten Prozess vom Erregungszustand, der z.B. durch eine sichtbare Variable s zur Zeit t generiert wird und in einen nicht beobachtbaren Erregungszustand übergeht. Dieser Erregungszustand kann einen Wert aus einer endlichen Menge von Zuständen S={S1,S2,...,SN} haben. Die in dieser Arbeit berücksichtigten Zustände werden in Tabelle 5 und Tabelle 6 beschrieben. Markov Prozesse sind stochastische Prozesse, die eine bestimmte Ordnung j haben, abhängig von welchem vorangegangenen Zustand, der aktuelle Zustand abhängt. Die bedingte Wahrscheinlichkeit des Prozesses ergibt sich aus allen vergangenen und momentanen Zuständen abhängig vom Zustand j: P(st|St-1,St-2,..,St-j,St-j-1,...)=P(St|St-1,St-2,..,St-j) Entspricht j=1, so ist ein Markov Prozess erster Ordnung anzunehmen, wobei die Werte des Prozesses zum Zeitpunkt t nur vom Zustand des Prozesses zum Zeitpunkt t-1 abhängen. In diesem Fall wird der Prozess durch seine erste Ordnung in der Transitionsmatrix beschrieben [Müller-Clostermann 2002]. Jede Zelle der Matrix kann durch folgende Formel dargestellt werden: aij=P(St=Si|St-1=Sj) Ein Hidden Markov Model ist ein endlicher Automat, der in den einzelnen Zuständen verschiedene Ausgaben produzieren kann. Im Falle von Erregungszuständen sind die Ausgaben die Signale der gemessenen Hautleitfähigkeit. Ein Hidden Markov Modell wird spezifiziert durch die Angabe eines Fünf-Tupels (S,K, ∏,A,B). Es dient als Modell eines dynamischen Systems (siehe Tabelle 4), das die beobachtbaren Ausgaben und die versteckten Zustände modelliert [Haenelt 2002a], [Haenelt 2002b]. S = {s1 ,..., s N }

Endliche Menge von nicht sichtbaren Zuständen

K = {k1 ,..., k M } = {1,..., M }

Endliche Menge von Ausgaben

Π = {π i }, i ∈ S

Anfangsmenge

A = {aij }, i, j ∈ S

Transitionsmatrix für den Übergang von einem nicht sichtbaren Zustand in N

den nächsten

∑a

ij

=1

j =1

B = {bijk }, i, j ∈ S , k ∈ K

Übergangsmatrix für eine bestimmte Ausgabe, wenn das Modell in einem

M

bestimmten Zustand steht ∑ bij = 1

k =1

Tabelle 4: HMM-Modell

4 TAPA: Training by Animated Pedagogical Agents

NE

Neutral

WE-

Wenig Erregt -

WE+

Wenig Erregt +

HE-

Hoch Erregt -

HE +

Hoch Erregt +



Startsymbol

91

Tabelle 5: Die nicht sichtbaren Zustände im TAPA Hidden-Markov-Modell Ein HMM erster Ordnung beinhaltet einen Prozess zur Generierung eines solchen dynamischen Systems. Dieser Prozess erfolgt analog dem Modell, indem die Generierung der Zustände auf Basis der Transitionsmatrix und die Wahrscheinlichkeitsverteilung der beobachtbaren Zustände mit dem aktuellen Zustand zum Zeitpunkt t angegeben wird. In TAPA wird angenommen, dass die Menge der nicht sichtbaren Zustände folgende Kategorien enthält wie sie in Tabelle 5 beschrieben sind. Das gesamte TAPA-Modell kann wie folgt in Tabelle 6 und Abbildung 24 als HMM beschrieben werden: Versteckte Erregungszustände S Hocherregt (HE+) Hocherregt (HE-) Neutral (NE) Wenigerregt (WE+) Wenigerregt (WE-)

Sichtbare Erregungszustände Dynamische Bildung des Vektors

Initialisierung

1 Minuten Durchschnitt 3 Minuten Durchschnitt 5 Minuten Durchschnitt Baseline Alle abhängig von der Signalvarianz

Hocherregt (HE+) 0,20 Hocherregt (HE- ) 0,30 Neutral (NE) 0,20 Wenigerregt (WE+) 0,20 Wenigerregt (WE-) 0,20

(Vektor ∏)

Tabelle 6: Das TAPA HMM für Erregungszustände µ Die folgenden Matrizen (Transitionsmatrix u. Übergangsmatrizen) wurden aufgebaut durch Zusammenarbeit mit Psychologen aus dem Psychologischen Institut der Rheinischen Friedrich-Wilhelms-Universität Bonn, dort hauptsächlich mit Psychologe Holger Tebarth, der gerade seine Dissertation im Bereich „Motivationspsychologische und affektive Einbettung“ anfertigt. Darüber hinaus wurde eine JAVA Applet eigens zur Messung und Simulation der Hautleitfähigkeit aufgebaut, um die verifizierten Werte durch Simulationen zu bestimmen. Dieses wurde unter Berücksichtigung folgender Quellen entwickelt: o bekannte psychologische Theorien und Parameter [Klein et al. 2002], [Klein

2003], [Scherer 1984] o und aus der Literatur bekannten Versuche und Messreihen mit dem Hautleitwert

[Fernandez & Picard 1998], [Kapoor et al. 2001]

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

92

Wahrscheinlicher

D1M

Erregungszustand

D3M SV

NE

DS HE

HE-

BS WE

WE

Neutral (NE) Hohe Erregung+ (HE+) Hohe Erregung(HE-) Niedrige Erregung+ (WE+) Niedrige Erregung- (HE-)

Versteckte Statis

Sichtbare Variablen

Abbildung 24: Darstellung des Stochastischen TAPA Prozesses als Transitionsmodell In Abbildung 24 wird schematisch das HMM dargestellt, auf der linken Seite die beobachtbaren Variablen (D1M: Durchschnitt von einer Minute, D3M: Durchschnitt von drei Minute, DS: Durchschnitt einer Minute von einer Szene, BS: Baseline und SV: Signalvarianz). Im mittleren Teil der Abbildung sind die versteckten Erregungszustände dargestellt wie sie in Tabelle 5 definiert wurden. Die Wahrscheinlichkeit des Übergangs von einem versteckten Zustand in einen anderen wird durch die Transitionsmatrix beschrieben (siehe Tabelle 7). Die Wahrscheinlichkeit, dass bei einer Ausgabe z.B. bei einem Minutendurchschnitt (D1M) ein bestimmter versteckter Zustand vorliegt, wird durch eine Übergangsmatrix beschrieben. Da hier komplexe zeitkritische Ereignisse zu berücksichtigen sind, wird diese Tabelle dynamisch aus den Tabellen Tabelle 8 bis Tabelle 11 gebildet.

4.5.4.2

Transitionsmatrix

In Abbildung 24 ist ein Transitionsgraph zur Beschreibung des HMMs dargestellt. Die Knoten beschreiben Zustände. Hier sind die Zustände des Automaten die Erregungszustände. Die Kanten zwischen den Knoten symbolisieren die möglichen Zustandsübergänge. Im Transitionsgraph wird durch diese Kanten die Abfolge der Erregungszustände beschrieben. Die Wahrscheinlichkeiten der Zustände wird durch eine Transitionsmatrix beschrieben (siehe Tabelle 7), die angibt, mit welcher Wahrscheinlichkeit der Übergang in einen anderen Zustand übergeht.

4 TAPA: Training by Animated Pedagogical Agents

93

Erregungszustände zur Zeit (t) Erregungszustä nde zur Zeit (t1)

HE+

HE-

NE

WE+

WE-

HE+

0,45

0,1

0,35

0,05

0,05

HE-

0,1

0,45

0,35

0,05

0,05

NE

0,25

0,25

0,25

0,25

0,25

WE+

0,05

0,05

0,35

0,45

0,1

WE-

0,05

0,05

0,35

0,1

0,45

Tabelle 7: Transitionsmatrix

4.5.4.3

Übergangsmatrix

Die Zustände, die das HMM durchläuft, können nicht beobachtet werden, sondern nur die Ausgaben. Das Hidden Markov Model fungiert hier als Interpretationsmodell. Für das TAPAModell wird der Pfad durch den Zustandsgraphen gesucht, der nach dem gegebenen Modell µ (siehe Tabelle 6) mit der höchsten Wahrscheinlichkeit ausgezeichnet ist. Da die beobachteten Zustände nicht aus einer einzelne Variable bestehen, sondern aus einem 4-Tupel bestehen, wird die Übergangsmatrix dynamisch aus vier vordefinierten Übergangsmatrizen aufgebaut werden (siehe Tabelle 8 bis Tabelle 11). In Tabelle 8 wird die Übergangsmatrix für den Durchschnitt von einer Szene definiert. Steigt das Signal 15% über den Durchschnitt des ganzen Trainings (Baseline) und 20% über den Durchschnitt der letzten Minute (D1M) bzw. der letzten 3 Minuten (D3M), wird angenommen, dass der Nutzer hoch erregt ist. Die Valenz hängt dann von der Varianz des Signals ab. Ist die Varianz niedrig, bedeutet dies, dass der Nutzer positiv hoch erregt ist (HE+) d.h. (motiviert), ist die Varianz hoch, ist davon auszugehen dass er negativ erregt ist (HE-) d.h. (Aufgeregt).

Abbildung 25: Regeln zur Bildung einer Übergangsmatrix der Erregungszustände in einer Szene

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

94

Sichtbare Zustände für den Durchschnitt einer Szene (DS) Versteckte Zustände

DS-HVS-H

DS-HVS-Ne

DS-HVS-Ni

DSNeVS-H

DSNeVS-Ne

DSNeVS-Ni

DSNiVS-He

DSNiVS-Ne

DSNiVS-NI

HE+

0,15

0,3

0,5

0,05

0,15

0,075

0,1

0,075

0,1

HE-

0,5

0,3

0,15

0,05

0,1

0,075

0,1

0,075

0,1

NE

0,20

0,3

0,20

0,25

0,5

0,45

0,2

0,35

0,2

WE+

0,075

0,05

0,075

0,45

0,15

0,35

0,25

0,1

0,45

WE-

0,075

0,05

0,075

0,1

0,1

0,05

0,35

0,4

0,15

Tabelle 8: Übergangsmatrix für den Parameter „Durchschnitt einer Szene (DS)“ (DS: Durchschnitt einer Szene; VS: Varianz des Signals; H: hoch; Ne: neutral; Ni: niedrig) Aufgrund der in Abbildung 25 dargestellten Regeln, wurde die Übergangsmatrix (siehe Tabelle 8) für eine Szene definiert. In Tabelle 9 wird die Übergangmatrix für den Durchschnitt einer Zeitspanne von einer Minute (D1M) beschrieben. Aufgrund der in Abbildung 26 dargestellten Regeln, ergibt sich, dass wenn das Signal über 15% des Durchschnitts des gesamten Trainings (Baseline) und 20% über dem Durchschnitt letzten 3 Minuten (D3M) bzw. einer Szene (DS) ist, man annehmen kann, dass der Nutzer hoch erregt ist. Die Valenz ist in Abhängigkeit von der Varianz des Signals zu bringen. Ist die Varianz niedrig, heißt es, der Nutzer ist positiv hoch erregt (HE+). Negative Erregung (HE-) ist eher anzunehmen, wenn die Varianz hoch ist.

Abbildung 26: Regeln zur Bildung einer Übergangsmatrix der Erregungszustände in einer Minute

4 TAPA: Training by Animated Pedagogical Agents

95

Sichtbare Zustände für den Durchschnitt von 1 Minute (D1M) Versteckte Zustände

D1MH-VSH

D1MH-VSNe

D1MH-VSNi

D1MNeVS-H

D1MNeVS-Ne

D1MNeVS-Ni

D1MNiVS-He

D1MNiVS-Ne

D1MNiVS-NI

HE+

0,15

0,3

0,5

0,05

0,15

0,075

0,1

0,075

0,1

HE-

0,5

0,3

0,15

0,05

0,1

0,075

0,1

0,075

0,1

NE

0,20

0,3

0,20

0,25

0,5

0,45

0,2

0,35

0,2

WE+

0,075

0,05

0,075

0,45

0,15

0,35

0,25

0,1

0,45

WE-

0,075

0,05

0,075

0,1

0,1

0,05

0,35

0,4

0,15

Tabelle 9: Übergangsmatrix für den Parameter 1 Minutendurchschnitt (D1M) (D1M: Durchschnitt einer Minute; VS: steht für Varianz; H: hoch; Ne: neutral; Ni: niedrig) Auf Basis der Regeln in Abbildung 27 wird die Übergangsmatrix in Tabelle 10 für den Durchschnitt einer Zeitspanne von 3 Minuten berechnet, übersteigt das Signal mehr als 15% des Durchschnitts des gesamten Trainings (Baseline) und 20% des Durchschnitts der letzten Minute (D1M) bzw. der letzten Szene (DS), wird eine hohe Erregung des Nutzers vorausgesetzt (HE). Die Varianz des Signals bestimmt dann die Valenz d.h. ist die Varianz niedrig, ist der Nutzer ist positiv hoch erregt (HE+) und somit motiviert. Im entgegen gesetzten Fall ist der Nutzer negativ erregt ist (HE-), also aufgeregt.

Abbildung 27: Regeln zur Bildung einer Übergangsmatrix der Erregungszustände in drei Minuten Sichtbare Zustände für Durchschnitt von 3 Minuten (D3M) Versteckte Zustände

D3MH-VSH

D3MH-VSNe

D3MH-VSNi

D3MNeVS-H

D3MNeVS-Ne

D3MNeVS-Ni

D3MNiVS-He

MSNiVS-Ne

D3MNiVS-NI

HE+

0,15

0,3

0,5

0,05

0,15

0,075

0,1

0,075

0,1

HE-

0,5

0,3

0,15

0,05

0,1

0,075

0,1

0,075

0,1

NE

0,20

0,3

0,20

0,25

0,5

0,45

0,2

0,35

0,2

WE+

0,075

0,05

0,075

0,45

0,15

0,35

0,25

0,1

0,45

WE-

0,075

0,05

0,075

0,1

0,1

0,05

0,35

0,4

0,15

Tabelle 10: Übergangsmatrix für den Parameter Durchschnitt einer Szene (DS) (D3M: Durchschnitt von drei Minuten; VS: steht für Varianz; H: hoch; Ne: neutral; Ni: niedrig)

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

96

In der Tabelle 11 wird die Übergangmatrix für den Durchschnitt einer gesamten Sitzung auf Basis der Regeln in Abbildung 28 definiert, wenn das Baseline mehr als 10% höher als der Durchschnitt einer Szene und 10% höher als das Durchschnitt der letzten Minute (D1M) bzw. 3 Minuten (D3M), dann wird angenommen, dass der Nutzer hoch erregt ist. Die Valenz hängt dann von der Varianz des Signals ab. Ist die Varianz niedrig, heißt es der Nutzer ist positiv hoch erregt (HE+) (motiviert), aber wenn die Varianz zu hoch ist, heißt es der Nutzer ist negativ erregt ist (HE-) (Aufgeregt).

Abbildung 28: Regeln zur Bildung einer Übergangsmatrix für die der Erregungszustände in einer Szene Sichtbare Zustände für den Durchschnitt des gesamten Trainingssitzung (Baseline) Versteckte Zustände

BS-HVS-H

BS-HVS-Ne

BS-HVS-Ni

BSNeVS-H

BSNeVS-Ne

BSNeVS-Ni

BSNiVS-He

BSNiVS-Ne

BSNiVS-NI

HE+

0,15

0,3

0,5

0,05

0,15

0,075

0,1

0,075

0,1

HE-

0,5

0,3

0,15

0,05

0,1

0,075

0,1

0,075

0,1

NE

0,20

0,3

0,20

0,25

0,5

0,45

0,2

0,35

0,2

WE+

0,075

0,05

0,075

0,45

0,15

0,35

0,25

0,1

0,45

WE-

0,075

0,05

0,075

0,1

0,1

0,05

0,35

0,4

0,15

Tabelle 11: Übergangsmatrix für den Parameter gesamte Trainingssitzung (Baseline) (BS: Baseline (Durchschnitt des gesamten Trainings); VS: Varianz; H:

4.5.4.4

hoch; Ne: neutral; Ni: niedrig)

Übergangsmatrix für das gesamte HMM

Die Übergangsmatrix für die Berechnung im gesamten HMM wird dynamisch erzeugt, d.h. die Spalten können einen Wert aus einem 9-Tupel annehmen (siehe Tabelle 11). Die Werte werden auf Grundlage der Übergangsmatrizen in Tabelle 8, bis Tabelle 11 errechnet. Die Sichtbaren Zustände (Ausgaben) sind jeweils ein Zustand aus folgenden Mengen, die entsprechenden Wahrscheinlichkeiten aus der jeweiligen Matrix werden dann in die Übergangsmatrix übernommen: o Kombinationen für die Variablen einer Szene sind {DS-H-VS-H, DS-H-VS-Ne,

DS-H-VS-Ni, DS-Ne-VS-H, DS-Ne-VS-Ne, DS-Ne-VS-Ni, DS-Ni-VS-He, DSNi-VS-Ne, DS-Ni-VS-NI}

4 TAPA: Training by Animated Pedagogical Agents

97

o Kombinationen für die Variablen eines 1Minutendurchschnitts {D1M-H-VS-H,

D1M-H-VS-Ne, D1M-H-VS-Ni, D1M-Ne-VS-H, D1M-Ne-VS-Ne, D1M-NeVS-Ni, D1M-Ni-VS-He, D1M-Ni-VS-Ne, D1M-Ni-VS-NI} o Kombinationen für die Variablen eines 3Minuten-durchschnitts {D3M-H-VS-H,

D3M-H-VS-Ne, D3M-H-VS-Ni, D3M-Ne-VS-H, D3M-Ne-VS-Ne, D3M-NeVS-Ni, D3M-Ni-VS-He, D3M-Ni-VS-Ne, D3M-Ni-VS-Ni} o Kombinationen für die Variablen eines Trainings-Durchschnitts {BS-H-VS-H,

BS-H-VS-Ne, BS-H-VS-Ni, BS-Ne-VS-H, BS-iNe-VS-Ne, BS-Ne-VS-Ni, BSNi-VS-H, BS-Ni-VS-Ne, BS-Ni-VS-Ni} In der Tabelle 12 wird ein Beispiel für eine dynamisch generierte Tabelle aufgezeigt. dabei stellen die fett gedruckten Variablen, die aktuelle Belegung dar. Alle anderen Variablen in den Tupeln stellen möglich Belegungen dar, sie werden dynamisch zur Laufzeit gebildet. Sichtbare Zustände Versteckte Zustände

BS-H-VS-H

BS-H-VS-Ne

D3M-H-VS-H D3M-H-VS-Ne

DS-H-VS-H DS-H-VS-Ne

D1M-N-VS-H D1M-H-VS-Ne

BS-H-VS-Ni

D3M-H-VS-Ni

DS-H-VS-Ni

D1M -H-VS-Ni

BS-Ne-VS-H

D3M-Ne-VS-H

DS-Ne-VS-H

D1M -Ne-VS-H

BS-Ne-VS-Ne

D3M-Ne-VS-Ne

DS-Ne-VS-Ne

D1M -Ne-VS-Ne

BS-Ne-VS-Ni

D3M-Ne-VS-Ni

DS-Ne-VS-Ni

D1M -Ne-VS-Ni

BS-Ni-VS-H

D3M-Ni-VS-H

DS-Ni-VS-H

D1M -Ni-VS-H

BS-Ni-VS-Ne

D3M-Ni-VS-Ne

DS-Ni-VS-Ne

D1M -Ni-VS-Ne

BS-Ni-VS-NI

D3M-Ni-VS-NI

DS-Ni-VS-Ni

D1M -Ni-VS-Ni

HE+

0,15

0,3

0,5

0,05

HE-

0,5

0,3

0,15

0,05

NE

0,20

0,3

0,25

0,25

WE+

0,075

0,05

0,075

0,45

WE-

0,075

0,05

0,075

0,1

Tabelle 12: Beispiel einer Übergangsmatrix für das gesamte HMM

4.5.4.5

Berechnungsschritte des HMM,s durch den Viterbi Algorithmus

Ziel des Viterbi-Algorithmus [Viterbi 1967] ist es, die wahrscheinlichste Sequenz der verborgenen Zustände in einem gegebenen Hidden-Markov-Modell zu einer gegebenen Beobachtung zu ermitteln. Entscheidend ist dabei, auf effiziente Weise die beste Pfadsequenz durch ein Hidden Markov Modell zu finden.

4.5 Erfassung und Parametrisierung der Entscheidungs- und Adaptionsprozesse

98

Ein sehr ineffizienter Weg zu einer gegebenen Beobachtung O, z.B. O=(BS-H-VS-H, D3MH-VS-H, DS-H-VS-H,D1M-N-VS-Ne), und einem gegebenen Modell (siehe Tabelle 6, Tabelle 7 und Tabelle 12), den optimalen Pfad durch ein Übergangsnetzwerk zu finden, wäre, •

alle möglichen Pfade zu ermitteln,



alle Pfade durchzusuchen, die die gegebene Beobachtung ausgeben,



hiervon den Pfad mit der höchsten Wahrscheinlichkeit auszuwählen.

Im Viterbi-Algorithmus werden diese Pfade kompakt als Gitter (engl. ‚trellis’) dargestellt (siehe Abbildung 29).

|Ω

NE

NE

NE

WE+

WE+

WE+

WE-

WE-

WE-

HE+

HE+

HE+

HE-

HE-

HE-

t1

t2

t3

t4

Abbildung 29: Gitter (trellis) Hier werden partielle Zwischenergebnisse nicht immer wieder neu berechnet, sondern wiederholt weiterverwendet. Außerdem wird für jeden Zeitpunkt t nur die Wahrscheinlichkeit des wahrscheinlichsten Pfades, der zu einem Knoten führt, sowie der Vorgängerknoten auf dem Pfad zu diesem Knoten gespeichert. prinzipiell sind für jeden Knoten die Wahrscheinlichkeiten seiner Erreichbarkeit von jedem Vorgängerknoten aus zu berechnen. Die Funktion ψ ermittelt den Erregungszustand, bei der die Funktion δ den Maximalwert liefert. Im Folgenden werden die Notationen für beide Funktionen definiert: i, j

: index ;

t

: bezeichnet die Zeiten t=1 .. T;

k

: bezeichnet die sichtbaren Zustände;

S

: bezeichnet die unsichtbaren Zustände

A = {aij }, i, j ∈ S : bezeichnet die Wahrscheinlichkeiten der Zustandsübergänge B = {bijk }, i, j ∈ S , k ∈ K : bezeichnet die Wahrscheinlichkeiten der Symbolemissionen, daraus werden die Teilwahrscheinlichkeiten berechnet:

4 TAPA: Training by Animated Pedagogical Agents

δ t (i) = max ⎛⎜⎝δ t −1( j) aij bikt ) ψ t (i) = arg max j ⎛⎜⎝δ t −1( j) a ji ) . j

Nur diese Werte werden zum nächsten Zeitpunkt t+1 weiterverwendet. Die Ergebnisse der beiden Funktionen können in Arrays gespeichert werden. Allen [Allen 1995] verwendet für die Ergebnisse der Funktion (siehe Abbildung 30) ein Array namens SEQSCORE(j,i) und ein Array namens BACKPTR(j,i). comment: Given: a n states comment: Initialization

δ1 (Ω) = 1.0

δ1 (t ) = 0.0 for t ≠ Ω comment: Induction for i := 1 to n step 1 do for all states US do

δ i +1 (Us j ) := max1≤k≤T [ δ i (Us k ) x P(SZi+1|USj) x P(USj|USk)] ψ i +1 (US j ) := arg max1≤k≤T [ δ i (US k ) x P(SZi+1|USj) x P(USj|USk)] end end comment: Termination and path-readout Xn+1 = arg max1≤j≤T δ n +1 (j) for j := n to 1 step -1 do Xj =

ψ j +1

(Xj+1)

End

Abbildung 30: Spezifikation des Viterbi Algorithmus zur Erkennung der Erregungszuständen Das Array SEQSCORE speichert für jede beobachtete Variablensequenz (d.h. für jeden Zeitpunkt t) die Wahrscheinlichkeit, die der optimale Pfad erreicht, der in jedem Zustand endet. Das Array BACKPTR speichert zu jedem Knoten den wahrscheinlichsten Vorgängerknoten. Also ergibt sich der Erregungszustand = P(X1, …, Xn) = max 1≤j≤T δ n +1 (USj). Dieser Parameter wird zur Adaptation der MMS genutzt (siehe Abbildung 30). Die Nutzung des gefundenen Erregungszustandes wird im folgenden Kapitel beschrieben.

99

4.6 Design der „adaptiven“ Reaktionen von TAPA

100

4.6

Design der „adaptiven“ Reaktionen von TAPA

Die den (Re-)Aktionen des SIAs sowie den übrigen Adaptivitätsparametern wie z.B. der Aufgabenschwierigkeit zugrunde liegenden Auswertungsalgorithmen interpretieren die Parameter Erregungszustand, Performanz, Strategieperformanz und Selbstreport (siehe Kapitel 4.5). Die Auswertungsalgorithmen sind nach dem Modell in Kapitel 3.5.2 aufgebaut und gewichten diese Parameter nach lernpsychologischen Prinzipien. Um eine ideale Lernmotivation zu erreichen sollte eine „geeignete“ Balance aus Herausforderung und Erfolgserlebnis (Selbstwirksamkeitserfahrung) vorliegen, d.h. Über- wie auch Unterforderung sollten vermieden werden. Die Aufgabenschwierigkeit sollte so gewählt sein, dass Aufgaben schwierig aber lösbar bleiben [Flammer et al. 1995], [Flammer et al. 2002], [Flammer et al. 2003]. Dies gilt insbesondere für Kinder mit einer Lernschwäche, die i.d.R eine deutlich herabgesetzte Frustrationstoleranz aufweisen und zudem häufig Schwierigkeiten haben, ihre eigene Leistungsfähigkeiten adäquat einzuschätzen [Reber et al. 1997a], [Reber et al. 1997b]. Eine „ideale“ Lernsituation entsteht demnach bei: Mittlerem Erregungsniveau; positiver Spaßangabe; und Strategieeinsatz mit hoher, aber nicht maximaler Performanz.

Durch die Variation der Abstufung der oben genannten Parameter wie z.B. „Erregungszustand“ lässt sich eine multidimensionale Skala von Lernzuständen/-situationen definieren, für die jeweils Aktionen in TAPA festgelegt wurden. Basiskriterium ist die Motivation, unter Annahme des lerntheoretischen Verstärkungsprinzips und der soeben beschriebenen „ideale Lernsituation“ zu beeinflussen. In Tabelle 13 erfolgt eine Beschreibung der in TAPA definierten Aktionen, die aufgrund der Eingangsparameter ausgeführt werden. In der Tabelle eingesetzte Abkürzungen bedeuten folgendes: • Spaßometer: Die Stufen 1 – 5 auf dem Spaßometer werden in zwei Zustände zusam-

men gefasst positiv oder negativ (+/-) • Erregungszustand: Für den Parameter Erregungszustand gibt es drei Zustände: (ha:

hoch erregt; na: neutraler Zustand und la: Niedrig erregt) (ha/na/la) (HE+ u. NE+ = ha; NE=na; HE- u. NE-=la) • Leistung: In dem Parameter Leistung werden die Ergebnisse der Performanz und Stra-

tegieperformanz zusammengeführt: (effektiv+ Gedächtnisstrategie(ems) / ineffektiv + Gedächtnisstrategie(ims) / effektiv+ keine Gedächtnisstrategie(ens) /ineffektiv+ keine Gedächtnisstrategie(ins)) (ems/ims/ens/ins)

4 TAPA: Training by Animated Pedagogical Agents

• Schwierigkeitsstufe: Das ist die Variable in TAPA, die angibt welche der obigen

Konstellationen vorliegt. Durch die Schwierigkeitsstufe werden u. a. Interaktion der SIAs, die Dialoge, das Verhalten der SIAs, die Dauer des Trainings und die Auswahl der nächsten Szenarien. In Tabelle 13 wird der Einfluss einer Konstellationen auf die einzelnen Parameter beschrieben: • Schwierigkeitsstufe durch folgende Symbole verdeutlicht:

(↑): auf nächste höhere Stufe stellen (↓): auf nächste tiefere Stufe setzen. (Æ): auf dem gleichen Level halten • (Re-)Aktionen: Agent (jeweils charakterspezifisch) o spricht Spaßometerangabe an und fordert auf noch einmal gut zu überlegen und

ggf zu korrigieren. (RQ1) o fragt, ob Aufgabe zu leicht war. (RQ2) o fragt, ob Aufgabe zu schwer war. (RQ3) o ist überrascht über Ergebnis und vergibt Magie-Punkt. (R1) o lobt Einsatz und Leistung und vergibt Magie-Punkt. (R2) o lobt Leistung, aber fordert auf, sich mehr anzustrengen. (R3) o vergibt einen Magie-Punkt für die Anstrengung und weist noch einmal auf die

Trickreihenfolge hin. (R4) o lobt Anstrengung und erklärt noch einmal die Trickreihenfolge. (R5) o baut Spannung auf und erklärt noch einmal die Trickreihenfolge. (R6) o vergibt einen Magie-Punkt für die Anstrengung und erklärt noch einmal kurz die

gesamte Strategie. (R7) o lobt Anstrengung und erklärt noch einmal kurz die gesamte Strategie. (R8) o baut Spannung auf und erklärt noch einmal kurz die gesamte Strategie. (R9) o ist überrascht über Ergebnis und vergibt Magie-Punkt. (R1) o lobt Einsatz und Leistung und vergibt Magie-Punkt. (R2) o lobt Leistung, aber fordert auf, sich mehr anzustrengen. (R3)

101

4.6 Design der „adaptiven“ Reaktionen von TAPA

102

Konstellation

Interpretation

AgentenReaktion

Schwierigkeitsstufe

+/ha/ems

M = hoch, AS ≤ mittel

R1

Æ

+/na/ems

M ≥ mittel, AS ≤ mittel

R2

Æ

+/la/ems

M unklar, AS = gering

RQ1.RQ2



-/ha/ems

M unklar, AS ≤ mittel

RQ1.RQ2

Æ

-/na/ems

M = gering, AS ≤ mittel

R3

Æ

-/la/ems

M = gering, AS = gering

R3



+/ha/ims

M = hoch, AS = hoch

R4

Æ

+/na/ims

M ≥ mittel, AS = hoch

R5

Æ

+/la/ims

M unklar, AS = hoch

RQ1.RQ3

Æ

-/ha/ims

M unklar, AS = hoch

RQ1.RQ3

Æ

-/na/ims

M = gering, AS = hoch

R6

Æ

-/la/ims

M = gering, AS = hoch

R6

Æ

+/ha/ins

M = hoch, AS ≥ mittel

R7



+/na/ins

M ≥ mittel, AS ≥ mittel

R8



+/la/ins

M unklar, AS ≥ mittel

RQ1.RQ3



-/ha/ins

M unklar, AS ≥ mittel

RQ1.RQ3



-/na/ins

M = gering, AS ≥ mittel

R9



-/la/ins

M = gering, AS ≥ mittel

R9



+/ha/ens

M = hoch, AS = gering

R7



+/na/ens

M ≥ mittel, AS = gering

R8



+/la/ens

M unklar, AS = gering

RQ1.RQ2



-/ha/ens

M unklar, AS = gering

RQ1.RQ2



-/na/ens

M = gering, AS = gering

R9



-/la/ens

M = gering, AS = gering

R9



Tabelle 13: Tabelle zur Entscheidungsunterstützung

4 TAPA: Training by Animated Pedagogical Agents

4.7

Interaktionsmodell

Abbildung 31: Schematische Darstellung des Interaktionsmodell von TAPA Interaktion ist ein zentrales Thema, wenn es um die Modellierung von Emotionen in einem technischen System geht (siehe Kapitel 2.3 und 3.4). Im Bereich emotionaler Computersysteme steht die Interaktion des Menschen mit Computersystemen im Mittelpunkt. Für diese komplexe Aufgabe sind intelligente Interaktionsmethoden der MMS von Interesse, insbesondere wenn SIAs zum Einsatz kommen (siehe Abbildung 31). SIAs stellen über Dialoge oder multimodale Elemente Fragen, nach deren Beantwortung Ergebnisse über einen Filter gesucht werden. Es gibt ein Nutzer-Modell und eine Protokollierung. Die Interaktionen des SIAs haben hier die Aufgabe, Informationen abzufragen, Ergebnisse zu liefern unter Einsatz von simulierten Emotionen. Es gibt verschiedene Fragen nach Sortierung von Objekten, Selbsteinschätzung und Selbstreport, aus mehreren wählbaren Optionen kann dann eine gewählt werden. Der Szenenbaum (siehe Kapitel 4.4.2) wird Schritt für Schritt ausgeführt und die Agenten können dem Kind die Strategien spielerisch beibringen. Die eingebaute Rückkopplung zwischen Nutzerprofil inklusive Biosignale und den Agenten kennzeichnet die Interaktionsform. Der Agent bekommt also eine Rückmeldung, wie gut seine Arbeit beim Nutzer ankommt, und speichert diese Information - allgemein oder für diesen speziellen Nutzer - in einem Profil. Grundlage für die Simulation der Emotionen durch die SIAs ist das in Kapitel 3.5.2 beschriebene Modell.

103

4.8 Ethische Aspekte

104

4.8

Ethische Aspekte

Beim Einsatz von SIAs sind ethische Aspekte nicht zu vernachlässigen, da Folgen des Einsatzes von menschenähnlichen Figuren nicht abzuschätzen sind. Dies trifft insbesondere auf Kinder zu, da sie dazu neigen, virtuelle Figuren nachzuahmen und deren Verhaltensweisen irgendwann auch im täglichen Leben zu übernehmen. Die Diskussion um Auswirkungen von Computerspielen auf das Verhalten von Kindern bestätigt, dass dieses Thema auch bei der Entwicklung von emotionalen Computersystemen mit Einsatz von SIAs berücksichtigt werden muss. Bei der Entwicklung von TAPA wurde diese Tatsache berücksichtigt, indem beispielsweise die SIAs ausschließlich sozial erwünschtes Verhalten zeigten und Spielelemente, die Aggressionen fördern könnten, wie Schießen oder Spielen unter Zeitdruck, vermieden wurden. Darüber hinaus wird die Speicherung von persönlichen Daten nur in einer anonymisierten Form zur Evaluation gespeichert.

5 Implementierung des emotionalen Computersystems TAPA

5 Implementierung des emotionalen Computersystems TAPA

Abbildung 32: TAPA System Überblick In Abbildung 32 wird das gesamte System TAPA schematisch dargestellt. Die Hauptachse des Systems bilden die Hauptakteure und Systemkomponenten: Kinder als Nutzergruppe, Agenten als Visualisierung und Implementierung der multimodalen Schnittstelle und die emotionale Anwendung repräsentiert durch das Kontrollmodul. Wie in Kapitel 3 ausgeführt bilden SIAs eine Hauptkomponente in emotionalen Computersystemen, so basiert auch TAPA wesentlich auf der Integration von SIAs in das Trainingssystem [Tebarth et al. 2000], [Mohamad et al. 2002a], [Mohamad et al. 2002b], [Mohamad et al. 2003], [Mohamad & Tebarth 2001]. Als notwendige technische Komponenten zur Bildung von TAPA sind Hautleitsensoren zu betrachten, sie liefern die Messgrößen der Hautleitfähigkeit (gemessen in MicroMho) und der Hautwiderstand (gemessen in KiloOhm) [Bruns & Praun 2002]. Beide Parameter werden protokolliert und für die Einschätzung des Erregungszustandes benutzt (siehe Kapitel 4.5.4). Die zum Hautleitfähigkeitssensor gehörenden Elektroden sind in zwei Klettbänder eingearbeitet. Diese werden an den mittleren Gliedern zweier Finger der nicht-dominanten Hand befes-

105

106

4.8 Ethische Aspekte

tigt (siehe Abbildung 33). Dabei sollten die Oberflächen der Elektroden guten Kontakt zur Haut an der Fingerinnenseite haben, um das erzeugte Signal messen und darstellen zu können (siehe Abbildung 34).

Abbildung 33: Hautleitsensor (GSR)

Abbildung 34: Typisches Hautleitfähigkeit-Signal

5 Implementierung des emotionalen Computersystems TAPA

5.1

Entwicklungsumgebungen

5.1.1 Entwicklungsumgebung für SIAs Für die Erstellung der SIAs in TAPA wurde die Entwicklungsbibliothek „MS Agents“17 von Microsoft benutzt. Die darin enthaltenen Klassen der Interface Agenten werden hauptsächlich zur Visualisierung und multimedialen Interaktionen mit Nutzern eingesetzt. Es handelt sich dabei um ActiveX Komponenten, die sich in Programme oder in Webseiten integrieren lassen. Sie besitzen verschiedene Fähigkeiten, wie Animationen durchzuführen, Emotionen zu zeigen, zu sprechen und sogar Sprache zu verstehen mittels Spracherkennung (siehe Kapitel 2.2, 3.5). „MS Agents“ bestehen hauptsächlich aus folgenden Komponenten: • MS Agents core components zur Programmierung von Interface Agenten • Vordefinierten Agenten wie z.B. Peedy, Merlin oder Bonzi • Sprachkomponenten (Deutsch und alle anderen unter Windows unterstützte Sprachen) • Text-to-speech engines wandeln geschriebene Sprache in gesprochene Sprache • Microsoft SAPI 4.0a runtime binaries, diese Bibliothek enthält Komponenten zur Rea-

lisierung der Sprachfunktionen • Speech Control Panel, es bietet eine Nutzerschnittstelle zur Kontrolle von Sprachfunk-

tionen

5.1.1.1

Architektur der Agenten

Ms Agents sind, wie bereits erwähnt, ActiveX Komponenten. ActiveX ist eine Art Programmierstandard und Programmierschnittstelle der Firma Microsoft für vielseitig einsetzbare Objekte. Objekte sind vergleichbar mit kleinen Programmen oder Sammlungen von Funktionen. ActiveX Objekte werden über die ActiveX Schnittstelle angesprochen, die als Bindeglied zwischen Programm und Objekt dient. Diese standardisierte Schnittstelle ermöglicht es, ein Objekt nahezu unabhängig von Programmiersprachen einzusetzen (z.B. mit Visual Basic, C++, Java verwendbar). ActiveX Objekte haben eine „Klassen-Identität“ (Class-ID), die dazu dient, ein Objekt einer Kategorie zuzuweisen bzw. ein Objekt zu identifizieren. Die Class-ID der Microsoft Agent

17

http://www.microsoft.com/msagent/downloads.htm

107

108

5.1 Entwicklungsumgebungen

Technologie insofern muss beim Laden der Objekte im HTML-Code bekannt sein, um z.B. Objekte für deutsche Sprachausgabe von solchen für englischen Sprachausgabe zu unterscheiden. Gleich in welcher Programmiersprache (C, Java oder Basic) die Technologie eingesetzt wird, die „Komponenten-Hierarchie“ bleibt immer gleich (sieh Tabelle 14). -Request

Befehlanforderung per Script (Programm)

---Agent (control)

Requests (Anforderungen) werden über das „Kontrollzentrum“ geleitet. Diese lädt einen bestimmten Agenten und erteilt ihm Befehle. Das AgentControl arbeitet immer im Hintergrund

------Characters (collection)

Sammlung von Agenten

---------Character:

Bestimmter Agent (eine bestimmte Figur)

------------Commands (collection):

Jeder Agent besitzt eine Sammlung an verschiedenen Befehlen, die ihm aktuell erteilt werden können (z.B. verstecke dich, sprich oder lächele,…)

---------------Command:

Ein bestimmter Befehl (z.B. der Befehl zu sprechen)

---------------Balloon:

Die Sprechblase (Balloon) dient als Anzeigeelement für Text (hauptsächlich in Kombination mit einer Sprachausgabe).

---------------------SpeechInput:

Spracheingabe per Soundkarte und Mikrofon

---------------------AudioOutput:

Künstliche Sprachausgabe per Soundkarte

---------------CommandsWindow:

Jeder Agent besitzt ein „Befehlsfenster“, das primär für die Spracheingabe genutzt wird

---------------PropertySheet:

„Grundeigenschaften“ der Agenten

Tabelle 14: Darstellung der Microsoft Agenten-Hierarchie, Funktionen und Eigenschaften Die Animationen sind von Agent zu Agent verschieden und können um neue Animationen erweitert werden. Daraus können beliebige Folgen zusammengestellt und Emotionen simuliert werden. Als Beispiel sind einige Animationen des Agenten Merlin in Tabelle 15 dargestellt.

5 Implementierung des emotionalen Computersystems TAPA

Acknowledge

Agent bewegt den Kopf so, als ob er gerade auf etwas aufmerksam wurde.

GetAttention

Agent macht auf sich aufmerksam (Merlin „klopft“ an den Bildschirm).

Alert

Agent macht eine alarmierende Bewegung (z.B. durch erschrecken).

Announce

Agent versucht mit einer Animation, eine Bekanntmachung durchzuführen (z.B. durch spielen auf einer Trompete).

Blink

Agent blinzelt mit den Augen.

Confused

Agent spielt eine Animation ab, als ob er verwirrt ist.

Congratulate

Agent gratuliert - Variation 1 (Pokal vorzeigen).

Congratulate_2

Agent gratuliert – Variation 2 (Applaus, Händeklatschen).

Decline

Agent tut so als ob er etwas verweigern würde (z.B. durch nach unten blicken).

DoMagic1

Agent zaubert (Merlin schwingt den Zauberstab).

DoMagic2

Agent zaubert durch fingerreiben.

Explain

Agent macht eine Geste, als ob er etwas erklären wollte.

Greet

Agent grüßt (Merlin verbeugt sich).

Pleased

Agent ist „begeistert“ durch Lächeln.

Process

Agent spielt eine Animation ab, als ob er beschäftigt ist. (Merlin rührt im Kochtopf).

Sad

Agent „macht“ ein trauriges Gesicht durch Zusammenziehen der Augenbrauen und der Gesichtszüge.

LookDown

Agent schaut nach unten.

LookUp

Agent schaut nach oben.

LookLeft

Agent schaut nach links.

LookRight

Agent schaut nach rechts.

GestureDown

Agent zeigt nach unten.

GestureUp

Agent zeigt nach oben.

GestureRight

Agent zeigt nach rechts.

GestureLeft

Agent zeigt nach links.

Tabelle 15: Einige Animationen des Agenten Merlin

5.1.2 Entwicklungsumgebung für die TAPA Szenarien Das System besteht aus den zwei Hauptkomponenten: o Entwicklungsumgebung o Laufzeitumgebung.

Die Entwicklungsumgebung hat die Hauptaufgabe, den Autor bei der Entwicklung der Szenarien und Integration von Algorithmen zu unterstützten.

109

5.1 Entwicklungsumgebungen

110

Abbildung 35 : Darstellung der Entwicklungs- und Laufzeitumgebung In Abbildung 35 werden die einzelnen Bausteine für das Entwicklungsumgebung dargestellt: o Story Szenarien: Der Autor kann verschiedene multimodale Elemente (Dialoge,

Audio, images, Scripts usw.) kombinieren und Szenen zusammensetzen. o Images beinhalten statische und animierte Objekte. o SIAs: Agieren in den Szenen. In der Entwicklungsumgebung kann der Autor die

SIAs in Beziehung zu einander und zu ihrer Umgebung bringen und ihre Einbettung in die Geschichte realisieren. o Die Dialoge als ein wesentlicher Teil der „Story“ können vom Nutzer in der

Entwicklungsumgebung eingegeben werden und über Parameter zu den jeweiligen SIAs zugeordnet werden.

5 Implementierung des emotionalen Computersystems TAPA

Abbildung 36: TAPA Story und Modulstruktur Eine Geschichte (Story) besteht aus einzelnen Szenen, die sich ihrerseits aus Objekten, Agenten, Skripten Hintergrundbildern und -geräuschen (siehe Abbildung 36) zusammensetzen.

5.2

Programmierung der Software Module

Die Softwarearchitektur orientiert sich an der Modell-View-Controller (MVC) Methode. Dabei werden die Daten in XML-Dateien gespeichert, in einer Mittelschicht weiterverarbeitet und dann an die Präsentationsschicht übergeben. In der Präsentationsschicht, die in TAPA hautsächlich aus ActiveX- und zum Teil aus Flashanimationen besteht, werden die Daten dann in passender Form dem Nutzer präsentiert. Das TAPA-System besteht aus folgenden Softwaremodulen (siehe Abbildung 37): •

Modul zur Erfassung von Körpersignalen aus sensorischen Daten und aus den Interaktionen des Nutzers und Selbstreport



Modul zur Erkennung des Erregungszustandes



Modul zur Strategieauswahl auf Basis des erkannten Erregungszustandes und einiger anderer Parameter wie Selbstreport und Performanz



Modul zur Adaption

111

5.2 Programmierung der Software Module

112

Abbildung 37: Software Komponenten von TAPA Java Module: Das Viterbi Algorithmus (siehe Kapitel 4.5.4) zur Erkennung des Erregungszustandes ist als Java Anwendung implementiert worden. Die Java Programme gliedern sich in zwei Threads: • Reader Thread: o es liest die einzelnen Messwerte, o bildet die Durchschnittswerte und o protokolliert (siehe Appendix 12).

• HMM Thread: Es o bildet die aktuelle Übergangsmatrix o berechnet den wahrscheinlichsten Zustand und o protokolliert (siehe Appendix 12).

• JavaScript Module: Diverse Funktionalitäten des TAPA Systems sind in JavaScript

implementiert, dazu gehören, o Das Lesen und Manipulieren der Nutzerprofile o Das Lesen der Instruktionen, die den Ablauf des Trainings steuern o Das Bilden von mehreren XML Brücken und die Nutzung von so genannten Data

Islands, das ist eine MS Internet Explorer (MS IE) Funktionalität, die es erlaubt Daten im Hauptspeicher zu speichern und durch MS IE zu manipulieren. Dies dient zur,

5 Implementierung des emotionalen Computersystems TAPA

• ActiveX Module: Die MS Agenten sind als ActiveX Komponenten implementiert, sie

können dadurch von anderen Modulen im IE augerufen werden. Die Kommunikation mit Ihrer Umwelt wird durch Aufrufe an die ActiveX Komponente realisiert. • Flash: Einige Sequenzen der Trainingssitzungen sind als Flash Filme realisiert, die mit

dem Rest der Anwendung über XML Kommandos kommunizieren. • XML/HTML: Das ganze Training ist als HTML-Datei aufgebaut, in der die Skripte,

ActiveX, und die Flashkomponente eingebettet sind. Diese Anwendung ist XML basiert, d.h. Trainingsmodule sind durch XML Elemente beschrieben, die Protokollierung wird in XML Dateien gespeichert und das Nutzerprofil in XML Dateien gehalten (siehe Appendix 10.1).

113

5.3 Technische Komponenten in Entwicklung und Einsatz von TAPA

114

5.3

Technische Komponenten in Entwicklung und Einsatz von TAPA

Technisch beruht das TAPA-System auf das Konzept eines Client-Servers-Modells (siehe Abbildung 38),

Abbildung 38: Technische Konzeption von TAPA Zum Aufbau der technischen Plattform wurden folgende Softwarekomponenten eingesetzt: • Windowsplattform als Betriebssystem • MS Visual Studio • Flash 5.0 • MS Agent Technologie • XML-Datenbank • MS Internet Explorer 5.5+ • ProComp+ Base Station als Hardwareschnittstelle • MindMedia Hautleitsensor SC-Flex-Sensor, es wird an die ProComp+ Base Station

angeschlossen

5 Implementierung des emotionalen Computersystems TAPA

• Die Auswertung der Protokolle (siehe Appendix 11 und 12) und die Erstellung der

Statistiken wurde mit Hilfe der Programme SPSS und Excel durchgeführt. Zur Erkennung der Erregungszustände wurde der Decoder ProComp+ der kanadischen Firma Thought Technologies18 verwendet und in Zusammenarbeit mit der Firma MindMedia aus den Niederlanden19 die entsprechenden Sensoren für den Zweck der Erkennung von Erregungszuständen und ihre Integration in Informationssysteme angepasst [Mohamad et al. 2003]. Im Bereich der Mensch-Maschine-Schnittstelle basiert die Adaptivität von TAPA auf der Kombination verschiedener Parameter, nach Regeln, die durch Expertenbefragung von Psychologen aufgestellt wurden (siehe Kapitel 4.5).

18 19

http://www.thoughttechnology.com/ http://www.mindmedia.nl

115

6.1 Ausschnitt aus einer Trainingssitzung mit TAPA

116

6 Evaluation von TAPA Das System, das auf Messen pädagogischem Fachpublikum vorgestellt werden konnte, wurde während der Entwicklungszeit wiederholt mit einer kleinen Gruppe von Kindern getestet. Darüber hinaus wurden zwei Hauptevaluationsrunden im Rahmen von Diplomarbeiten durchgeführt [Hammer 2002], [Damm 2004]. Die erste prototypische Evaluation wurde an der Universitätskinderklinik Bonn 2001/2002 mit 15 Kindern durchgeführt, die Hauptevaluation 2003/2004 an der Gutenbergschule für Lernbehinderte in Sankt Augustin. In der Hauptevaluation wurden 72 Kinder involviert. Im Folgenden werden die beiden Evaluationsrunden mit ihren Ergebnissen dargestellt und zuvor Ausschnitte aus einer Trainingssitzung dargestellt, die allen Tests zugrunde lagen.

6.1 Ausschnitt aus einer Trainingssitzung mit TAPA Im Folgenden wird ein Ausschnitt aus dem Ablauf einer Trainingssitzung dargestellt, dabei werden die Schritte in ihrer zeitlichen Reihenfolge erläutert: • Anschließen der Basisstation der Sensoren an die serielle Schnittstelle des PCs • Anschließen des Touchscreens an den PC • Anschließen der Hautleitsensoren an die Finger des Nutzers zur permanenten Messung

der Hautleitfähigkeit • Starten des Programms zum Lesen und Weiterleiten der Messwerte • Starten des Programms zur Erkennung des aktuellen Erregungszustandes (HMM) (sie-

he Abbildung 39) • Starten des Training Programms (siehe Abbildung 41)

6 Evaluation von TAPA

117

Abbildung 39: Startbild des Programms zur Berechnung des Erregungszustandes

Abbildung 40: Biofeedbacksensoren Das Programm zur Erkennung des Erregungszustands erwartet als Input einen Signalwert der Hautleitfähigkeit. Daraus werden Variablen gebildet, wie z.B. die Baseline und die durchschnittliche Veränderung des Hautleitwertes nach 1, 3, und 5 Minuten (siehe Kapitel 4.5.4). Dieses Programm läuft während der gesamten Trainingszeit im Hintergrund. Der erkannte Erregungszustand wird über eine XML-Brücke (spezielles XML Format) an das Trainingprogramm übergeben.

118

6.1 Ausschnitt aus einer Trainingssitzung mit TAPA

Abbildung 41: Startbild des TAPA Programms Beim Starten des Trainingprogramms werden für die Adaption wichtige Parameter abgefragt (z.B. Alter), aufgrund von deren Werten die entsprechenden Dialoge und Szenen initialisiert werden. Diese Auswahl kann abhängig vom Erregungszustand des Kindes im Laufe der Trainingseinheit angepasst und verändert werden. Die gesamte Protokollierung und Steuerung des Trainings wurde in XML Dateien abgelegt, aus denen die passenden Elemente zu jedem Zeitpunkt ausgewählt wurden. Die in Abbildung 42 dargestellte Berechnung des Erregungszustandes einer Trainingssitzung zeigt einen typischen Verlauf mit wechselnden Erregungszuständen. Dieser Verlauf wird in Tabelle 16 in Form von 12 Schritten dargestellt.

6 Evaluation von TAPA

119

Erregungszustand 6 5 4 Erregungszustand

3 2 1 12:52:04

12:50:48

12:49:32

12:48:37

12:47:25

12:46:09

12:44:45

12:43:31

12:42:11

12:40:43

12:39:31

12:38:17

0

Abbildung 42: Werte des Erregungszustandes aus einem Abschnitt einer Trainingssitzung (1: neutral, 2: negativ niedrig erregt; 3: positiv niedrig erregt; 4: positiv hoch erregt; 5: negativ hoch erregt) Nr Zeit

Szene

Variablenname

Variablenwert

1

12:38:01 Initialisierung

Schwierigkeitsstufe

2

2

12:39:31 An der Burg

Baseline

1 (Neutral)

3

Baseline 12:40:43 Merlins Küche 9 Objekte

4 5 6

12:42:11 Sortierfunktion

System zählt die Anzahl der Objekte

9

12:43:41 Selbsteinschätzung

KindObjekte

9

Antwort

Blatt; Kekse; Schlange; Blume; Kaktus

Anzahl

5

12:44:45

Wiedergabe durch das Kind

7 8

3 (Niedrig erregt, positiv). Frosch, Maus, Schlange Blatt, Blume, Kaktus Kekse, Käse, Suppe.

Adaption

Schwierigkeitsstufe

9

3

Sortiert-Gesamtgruppe

12 O-Saft, Biene Grashüpfer, Cola, OSaft, Kaffee, Hammer ,Schraubenzieher, Säge, Mund, Ohr, Hand

10 12:47:09 Sortierfunktion

Sortiert-Gesamtgruppe

12

11 12:48:37 Selbsteinschätzung

Anzahlobjekte

9

Antwort

O-Saft, Biene Grashüpfer, Cola, OSaft, Kaffee, Hammer ,Schraubenzieher, Säge, Mund, Ohr, Hand

12:46:09 Neue Aufgabe

12 Wiedergabe durch das 12:49:32 Kind

Tabelle 16: Trainingablaufprotokoll

6.1 Ausschnitt aus einer Trainingssitzung mit TAPA

120

Im Folgenden werden die in Tabelle 16 aufgelisteten Schritte einer Trainingseinheit inhaltlich beschrieben (näheres siehe Kapitel 4): 1) Im ersten Schritt wird das Training initialisiert, die wichtigste Variable, die hier eingestellt wird, ist die Schwierigkeitsstufe. Von ihr hängen die Auswahl der Strategien und die Anzahl der Objekte ab, die das System dem Kind präsentiert. 2) Zweck des zweiten Schrittes ist, das Kind über das Training zu informieren und in einen Dialog mit den SIAs zu bringen, um eine Baseline der Hautleitfähigkeit zu berechnen. 3) Im dritten Schritt werden, wie über das gesamte Training hinweg, die Baseline und andere Durchschnittswerte durch das Programm ermittelt zur Berechnung des Erregungszustandes. Die beiden SIAs präsentieren dem Kind 9 verschiedene Objekte, die das Kind kategorisieren soll. 4) In diesem Schritt gelang es dem Kind alle 9 Objekte richtig zu kategorisieren (in drei Gruppen: Lebensmittel, Tiere und Pflanzen). 5) Die SIAs forderten das Kind auf, eine Einschätzung abzugeben, an wie viele Objekte es sich gleich erinnern werde. Die Schätzung des Kindes lag bei 9 Objekten. 6) Das Kind wurde aufgefordert die Objekte wiederzugeben. Das Kind teilte dem System die erinnerten Objekte mit. 7) Das System erkante fünf richtig erinnerte Objekte. Der Erregungszustand des Kindes wurde mit „hoch positiv“ eingeschätzt. 8) Die vorige Kombination aus den gegebenen Antworten und dem erkannten Erregungszustand führte zu einer Adaption der Schwierigkeitsstufe. Die Dialoge der SIAs wurden angepasst und die Schwierigkeitsstufe erhöht. 9) Die SIAs erklärten dem Kind neue Strategien und präsentierten 12 Objekte zum Lernen. 10) Das Kind konnte alle 12 Objekte richtig kategorisieren. 11) Die SIAs forderten das Kind auf, eine Selbsteinschätzung abzugeben, an wie viele Objekte es sich gleich erinnern werde. Das Kind gab an, dass es sich an 9 Objekte werde erinnern können. 12) Das Kind konnte alle 12 Objekte richtig nennen.

6 Evaluation von TAPA

6.2

121

Prototypische Evaluation an der Universitätskinderklinik Bonn

Im Rahmen einer Diplomarbeit trainierten 15 Kinder im Alter von 10-12 Jahren mit einem TAPA-Prototypen [Hammer 2002]. Zehn dieser Kinder wurden als lernbehindert eingestuft, fünf der Kinder waren nicht lernbehindert. In dieser ersten Evaluationsrunde wurden die Lauffähigkeit des TAPA-Systems allgemein getestet und die erzielten Lernerfolge mit dem Trainingssystem evaluiert.

6.2.1 Evaluationsfragen Für das vorliegende Promotionsvorhaben standen im Mittelpunkt des Interesses die Fragen nach: • Der Praxistauglichkeit des TAPA-Systems bzgl.: o Fehlertoleranz und Akzeptanz der eingesetzten Hard- und Softwarekomponenten o Zuverlässigkeit der Diagnosefunktion zur Berechnung der Gedächtnisleistung o Effektivität der Instruktionen

• Der therapeutischen Wirksamkeit der Trainingskomponente bzgl.: o Steigerung der Gedächtnisleistung bei den Kindern o Steigerung der Fähigkeit des kategorialen Organisierens

Darüber hinaus sollten Erkenntnisse gewonnen werden zur Rolle und Nutzerakzeptanz der SIAs in TAPA.

6.2.2 Evaluationsmethode Die Leistung im Bereich Metagedächtnis wurde über ein Interview nach einem festen Leitfaden in Kombination mit einem Fragebogen (Metagedächtnisinterview und –fragebogen) erhoben, beide nach standardisierten Verfahren zur Metagedächtnisforschung entwickelt. Weitere Informationen über Fähigkeiten und Erfahrungen der Kinder wurden über zusätzliche Befragungen sowohl der Kinder als auch ihrer Eltern ergänzt. Die Gedächtnisleistung und das kategoriale Organisieren wurden über TAPA erfasst, indem das Interaktionsverhalten der Kinder protokolliert und in Logfiles gespeichert wurde. Während des Trainings wurde das Verhalten der Kinder durch eine Psychologin in einem „Verhaltensbeobachtungsbogen“ protokolliert und durch zusätzliche Befragungen im Anschluss an das Training ergänzt.

6.2.3 Evaluationsergebnisse Über die gesamte Trainingssitzung hinweg lief das TAPA-System stabil und selbst Fehlbe-

6.2 Prototypische Evaluation an der Universitätskinderklinik Bonn

122

dienungen führten nicht zu Störungen des Trainingsablaufs. Das Zusammenspiel der Hardund Softwarekomponenten wie Messsensoren, Sprachein-/ausgabe, Verarbeitungsprogramme und Software zur Erkennung des Erregungszustandes verlief fehlerfrei. Die Bedienung des Systems wurde von allen Kindern schnell erlernt und die Nutzerschnittstelle mit Touchscreen Technologie und Sprachein-/ausgabe fand uneingeschränkte Akzeptanz. Selbst die an den Fingern der Kinder angebrachten Sensoren wurden nicht als störend empfunden und ließen keine Beeinträchtigung beim Arbeiten mit TAPA erkennen. Im Bereich Gedächtnisleistung und kategoriales Organisieren konnte in beiden Gruppen eine deutliche Steigerung der Leistungen beobachtet werden. Durch das Training mit TAPA stieg in der Gruppe der nicht lernbehinderten Kinder die Anzahl derer, die die gestellten Aufgaben lösen konnten, von 3 auf 5 an. Nach dem Training mit TAPA konnten alle 5 Kinder die gestellten Aufgaben richtig lösen (siehe Abbildung 43). Erfolgsrate der nicht lernbehinderten Kinder 6 5 4 3 2 1 0 vorher (60%)

nachher (100%)

Abbildung 43: Erfolgsrate der nicht lernbehinderten Kinder vor und nach dem Training Bei den lernbehinderten Kindern war die Leistungssteigerung noch deutlicher, da am Anfang nur ein Kind die gestellten Aufgaben lösen konnte, während nach dem Training 9 von 10 Kinder dieser Gruppe die gestellten Aufgaben richtig lösten (siehe Abbildung 44). Erfolgsrate der lernbehinderten Kinder 10 8 6 4 2 0 vorher (10%)

nachher (90%)

Abbildung 44: Erfolgsrate der lernbehinderten Kinder vor und nach dem Training

6 Evaluation von TAPA

123

Dieser Trainingserfolg ist gleichzeitig ein Beleg für die Effektivität der Instruktionen in TAPA. Dies zeigten auch die Protokolle der beobachtenden Psychologin („Verhaltensbeobachtungsbogen“), aus denen hervorging, dass die Kinder die Instruktionen der SIAs sofort verstanden und bei der Interaktion mit dem System keine Hilfe benötigten. Aus den erhobenen Daten konnte ebenfalls eine hohe Akzeptanz der SIAs festgestellt werden, sowie ein positiver Einfluss auf die Motivation der Kinder beobachtet werden. Die Präsentation der Aufgaben durch die SIAs wurde von den Kindern als positiv und wünschenswert bewertet. Allerdings gab es Kritikpunkte am Sprachstil der SIAs, der an einigen Stellen als zu streng empfunden wurde. Die Ergebnisse dieser Evaluationsrunde wurde dazu genutzt das TAPA-System zu verbessern, indem die Dialoge der SIAs dem Sprachstil der Kinder besser angepasst wurden. Weiterhin erwies es sich als nötig, die Messintervalle zu verringern, um genauere Erkennungsraten zu erzielen. Darüber hinaus wurden die Eingangsparameter für den HMM Algorithmus verändert, und damit die Übergangswahrscheinlichkeiten von einem Erregungszustand zu einem anderen besser an die empirisch ermittelten Werte für diese spezielle Nutzergruppe angepasst.

6.3 Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin

124

6.3

Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin

Die im Rahmen einer Diplomarbeit an der Universität Bonn durchgeführte Evaluation wurde mit einer nach der ersten Evaluationsrunde optimierten Version von TAPA durchgeführt [Damm 2004]. An den Tests, die an der Gutenbergschule in Sankt Augustin stattfanden, nahmen 71 Kinder im Alter zwischen 9 – 14 Jahren teil. Die Kinder wurden in 2 Gruppen aufgeteilt mit 35 bzw. 36 Kindern. Die erste Gruppe trainierte mit TAPA (Experimentalgruppe), während die zweite Gruppe (Kontrollgruppe) in der Prätestung mit den Memory-Karten arbeitete, um ihre Gedächtnisleistung zu verbessern. Das Memory-Karten-Set entsprach dem Standard von Hasselhorn zur Übung von Sort-Recall-Aufgaben [Hasselhorn et al. 1996]. Das in TAPA eingesetzte Bildmaterial wurde in Anlehnung an diesem Standard entwickelt.

6.3.1 Evaluationsfragen Für diese Hauptevaluation wurde auf folgende Fragen fokussiert: •

Eignet sich die adaptive SIA Umgebung TAPA zum therapeutischen Einsatz bei Kindern mit Gedächtnisstörungen, um ihre Metagedächtnisleistung zu verbessern?



Ist durch die computergesteuerte emotional-adaptive Lernumgebung in TAPA die Förderung von Gedächtnisleistung und kategorialem Organisieren bei Kindern mit Gedächtnisstörungen möglich?

Im Folgenden werden die abhängigen und unabhängigen Untersuchungsvariablen abgebildet und Verweise auf die Kapitel dieser Arbeit gegeben, in denen sie näher beschrieben sind (siehe Abbildung 45): • Abhängige Variablen (AVs) o SORT-Recall Leistung (Performanz und Strategieperformanz (siehe Kapitel

4.5.2, 4.5.3) o Antwortlatenz, Erregungszustand, siehe Kapitel (4.5.4, 4.5.1) o Dialog mit den SIAs, (siehe Kapitel 4.7) o Selbstreport (Spaßometer) (siehe Kapitel 4.5.1)

• Unabhängiger Variablen (UV’s) o Aktivität der SIAs (siehe Kapitel 3.5, 4.4.1) o Instruktionen (siehe Kapitel 4.5) o Aufgabenschwierigkeit (siehe Kapitel 4.4.1)

6 Evaluation von TAPA

125

o Ausprägung der Gedächtnisstörung (siehe Kapitel 4.2) Lerneinheit

Lehrstrategie

Anfangszustand

Abhängige Variablen Performanz

Strategieperformanz

Erregungszustand

Antwortlatenz

Dialog mit den SIAs

Selbstreport

Unabhängige Variablen Aktivität der SIAs

Instruktionen

Schwierigkeitsstufe

Gedächtnisleistung

neue Lehrstrategie

Abbildung 45: Darstellung der Untersuchungsvariablen

6.3.2 Evaluationsmethode Aufbau der Evaluation Die Untersuchung selbst fand in den Räumen der Gutenberg Schule statt. Die in Tabelle 17 abgebildete Evaluationsstruktur zeigt, dass die Leistungen der Experimental- und Kontrollgruppe zu drei bzw. zwei Messzeitpunkten erfasst wurden.

6.3 Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin

(N=36) Kontrollgruppe

TAPA inklusive Hautleitfähigkeit

Sort-Recall und Metagedächtnisfragebogen

(N=35) Experimentalgruppe

Training Voruntersuchung Prätestung (t2) (t1)

fremdanamnestisches Schülerprofil und IQ im CFT20

Schüler

Follow-Up Prätestung nach ca. 4 Wochen (t2) (t3)

Sort-Recall und Interview zum Erleben von TAPA

126

Sort-Recall

Tabelle 17: Tabelle 17: Plan der Untersuchung an der Gutenbergschule Die Untersuchung zum ersten Messzeitpunkt (t1) war für alle Teilnehmer identisch: Der Experimental- und der Kontrollgruppe wurden drei Sort-Recall-Aufgaben vorgelegt und weitere Daten mit dem Metagedächtnisinterview bzw. -fragebogen erhoben. Während damit die erste Erhebung für die Kontrollgruppe beendet war, folgte für die Experimentalgruppe unmittelbar die Trainingphase. Beim Durchlaufen des Trainingsprogramms erfolgte eine Verhaltensbeobachtung durch eine Psychologiestudentin. Im Anschluss an das Training wurde ein Interview zu TAPA durchgeführt und den Kindern drei weitere Sort-Recall-Aufgaben vorgelegt (t2). Nach vier Wochen (t3) wurden in der Experimental- und in der Kontrollgruppe mittelfristige Veränderungen mit Hilfe von drei Sort-Recall-Aufgaben und dem Metagedächtnisinterview / -fragebogen erhoben. Prä- und Follow-Up-test, sowie das Durchlaufen des Trainingsprogramms in der Experimentalgruppe beanspruchten ca. 90 Minuten pro Teilnehmer. Die Dauer für die Durchführung der Sort-Recall-Aufgaben und des Metagedächtnisinterviews / fragebogens betrug ca. 30 Minuten. Die Aktionen und das Verhalten der Kinder wurden während des Trainings von einer Psychologin beobachtet und protokolliert. Die Interaktionen wurden automatisch in 2 Protokollen festgehalten, dem Trainingablaufprotokoll (siehe Anhang II – Logfile einer Trainingsitzung) und den Protokollen der Hautleitmesswerte bzw. der erkannten Erregungszustände (siehe Anhang III– Logfile Messung der Hautleitfähigkeit).

6 Evaluation von TAPA

6.3.2.1

127

Ablauf der Evaluation

Es wurden folgende Variablen untersucht: der Effekt von TAPA (unabhängige Variable) auf kategoriales Organisieren, Gedächtnisleistung und Metagedächtnisleistung (abhängige Variablen). Der vorgenommenen Wirksamkeitsanalyse liegt ein experimentelles Kontrollgruppendesign mit drei Messzeitpunkten (Prätest, Training, Follow-Up) zugrunde. TAPA wurde als Training in der Experimentalgruppe zwischen Prä- und Follow-Up durchgeführt. Die Effektivität des Trainingsprogramms wurde auf drei Ebenen untersucht: • Ausmaß des kategorialen Organisierens (Strategieperformanz) • Gedächtnisleistung (Performanz) • Umfang der Metagedächtnisleistung.

Für die Experimentalgruppe wurden sowohl kurzfristige als auch mittelfristige Verbesserungen erwartet. Dementsprechend wurde innerhalb der Experimentalgruppe auf allen drei Ebenen überprüft, ob unmittelbar nach dem Training, d.h. im Vergleich der Messzeitpunkte t1 und t2, signifikante Verbesserungen sichtbar wurden. Die hohe Beanspruchung durch das ca. 90minütige Training und Fragebogen erlaubte keine Erhebung der Metagedächtnisleistung bei dieser Nutzergruppe zum Zeitpunkt t2, so dass die Überprüfung kurzfristiger Veränderungen auf der dritten Ebene nicht möglich war. Eine Prüfung mittelfristiger Verbesserungen, d.h. im Vergleich von t1 und t3 (vier Wochen nach der ersten Erhebung), erfolgt hingegen auf allen drei Ebenen. Für die Nutzer der Kontrollgruppe war die Prüfung kurzfristiger Veränderungen aufgrund eines fehlenden Trainings überflüssig. Es wurde davon ausgegangen, dass ihre Leistungen mittelfristig auf den drei Ebenen konstant bleiben würden. Entsprechend wurde überprüft, ob zwischen t1 und t3 die Leistungen konstant blieben. Des Weiteren bestand die Erwartung, dass auf allen drei Ebenen die Nutzer der Experimentalgruppe denen der Kontrollgruppe mittelfristig überlegen sein würden. Hierzu wurde ein Vergleich der beiden Gruppen zum dritten Messzeitpunkt auf allen Ebenen vorgenommen. Abbildung 44 fasst den gesamt Ablauf der Evaluation zusammen.

6 Evaluation von TAPA

128

Experimentalgruppe

CFT 20

Sort-Recall-Aufgaben (KS Verhaltens-

(Teil 1)

I)

Sort-Recall-Aufgaben (KS

Interview zu TAPA

I)

beobachtung TAPA

t1

t2

Nach

4

Wo-

t3

Kontrollgruppe

CFT 20

Sort-Recall-Aufgaben (KS

Sort-Recall-Aufgaben (KS

(Teil 1)

I)

I) t1

4 Wochen

t3

Abbildung 46: Untersuchungsablauf in Experimental- und Kontrollgruppe Anmerkung: Die gestrichelten Pfeile kennzeichnen die vorgenommenen Vergleiche innerhalb bzw. zwischen Experimental- und Kontrollgruppe.

6 Evaluation von TAPA

129

6.3.3 Evaluationsergebnisse Bei der vorgenommenen Datenanalyse erfolgte eine Wirksamkeitsanalyse des Trainingsprogramms anhand der formulierten Untersuchungsfragen. Im Rahmen der Wirksamkeitsanalyse wurden t-Tests für abhängige und unabhängige Stichproben durchgeführt. Der t-Test ist ein Hypothesentest. Zusammenhänge zwischen dem ersten und dem dritten Messzeitpunkt konnten mittels Kovarianzanalysen ermittelt werden. Die Kovarianzanlyse ist eine statistische Kontrolltechnik. Die Auswertung des Metagedächtnisinterviews zur Sort-Recall-Aufgabe erfolgte nach der von FISSENI als Auswertungsmethode für Gespräche vorgeschlagenen Methode der „Thematischen Zusammenfassung“ [Fisseni 1997]. Zur Analyse der kategorialen Organisationstendenz wurden für Lern- und Recallphase getrennte Test durchgeführt, um herauszufinden, in wieweit das kategoriale Organisieren bei den Kindern verbessert werden konnte. Dazu wurden bei den Sort-Recall-Aufgaben das Memorierverhalten beobachtet und in der Wiedergabe das Gruppierverhalten.

6.3.3.1

Kategoriales Organisieren in der Lernphase

Zum ersten Messzeitpunkt t1 sortierte sowohl in der Experimental- als auch in der Kontrollgruppe nur jeweils ein Nutzer das Lernmaterial kategorial. Alle anderen Nutzer wendeten keine oder nicht adäquate Strategien an, um die Objekte zu memorieren (z.B. die Objekte einfach aus der freien Gruppierung in eine Reihenfolge ohne Sortierkriterium bringen) (siehe Abbildung 47). 40 35 30 25

kein Organisierverhalten

20

Organisierverhalten

15 10 5 0 Experimentalgruppe

Kontrollgruppe

Abbildung 47: Anzahl der Kinder mit Organisierverhalten vor dem Training

6.3 Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin

130

Zum Zeitpunkt t2 organisierten in der ersten Sort-Recall-Aufgabe 18 Nutzer, in der zweiten Aufgabe 19 und in der dritten Aufgabe 18 Nutzer der Experimentalgruppe die Objekte kategorial (siehe Abbildung 48). Bei Betrachtung solcher Evaluationsteilnehmer, die mindestens in zwei Aufgaben kategoriales Organisieren zeigten, lagen im Vergleich der Messzeitpunkte t1 und t2 hochsignifikante Unterschiede vor. Zum Zeitpunkt t3 zeigten noch 16 Nutzer ein kategoriales Organisierverhalten (siehe Abbildung 49). Im Vergleich zum Prätest fällt diese Häufigkeit in der Follow-Up-Untersuchung ebenfalls hochsignifikant größer aus.

40 35 30 25

kein Organisierverhalten

20

Organisierverhalten

15 10 5 0 Aufgabe 1 Aufgabe 3 Aufgabe 2 Leistung der Experimentalgruppe nach dem Training

Abbildung 48: Verhältnis der Kinder mit Organisierverhalten / Kein Organisierverhalten In der Kontrollgruppe zeigte nur der Nutzer, der bereits im Prätest in einer Aufgabe kategorial organisiert hatte, entsprechendes Verhalten auch in den Aufgaben der Follow-UpUntersuchung (siehe Abbildung 49), so dass sich die Anzahl von Nutzern, die zu den Zeitpunkten t1 und t3 kategorial organisierten, in der Kontrollgruppe nicht veränderte.

6 Evaluation von TAPA

131

40 35 30 25

kein Organisierverhalten

20

Organisierverhalten

15 10 5 0 Experimentalgruppe

Kontrollgruppe

Abbildung 49: Anzahl der Kinder mit Organisierverhalten nach dem Training Ein Vergleich der kategorialen Organisierleistung in der Experimental- und der Kontrollgruppe zum Zeitpunkt t3 lieferte dementsprechend ein hochsignifikantes Ergebnis: Kategoriales Organisieren wurde von der Hälfte der Evaluationsteilnehmer mittelfristig beibehalten, während nur ein Teilnehmer der Kontrollgruppe diese Strategie einsetzte.

6.3.3.2

Kategoriales Organisieren in der Recallphase

In der Experimentalgruppe zeigte ein Mittelwertvergleich der Werte des Sortierverhaltens (Recallphase) des Prä- und Follow-Up Test, dass der Koeffizient unmittelbar nach dem Training signifikant größer ausfiel als vorher und die Nutzer somit die memorierten Objekte im Follow-Up Test eindeutig stärker kategorisierten als dies im Prätest der Fall war. Um von einer mittelfristigen Stabilität der erworbenen Kompetenzen sprechen zu können, wurden Mittelwertvergleiche für den Koeffizienten (Recallphase) zwischen Prätest und Follow-UpUntersuchung vorgenommen. Die Ergebnisse zeigten ebenfalls signifikante Unterschiede zwischen den Messzeitpunkten und bestätigten damit für die Experimentalgruppe eine mittelfristige Stabilität des kategorialen Organisierens in der Recallphase. Für die Kontrollgruppe ergaben sich keine signifikanten Unterschiede zwischen den mittleren Koeffizienten (Recallphase) in Prätest und Follow-Up-Untersuchung. Um Unterschiede zwischen Experimental- und Kontrollgruppe hinsichtlich des kategorialen Organisierens in der Recallphase auf das Training zurückführen zu können, erfolgte ein Vergleich der beiden Gruppen zum dritten Messzeitpunkt. Die Ergebnisse belegen eine signifikante Überlegenheit der Nutzer der Experimentalgruppe gegenüber denen der Kontrollgrup-

6.3 Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin

132

pen hinsichtlich der mittleren Koeffizienten. Eine graphische Darstellung der Ergebnisse bietet Abbildung 50.

0,6 0,5 0,4

Experimentalgruppe Kontrollgruppe

0,3 0,2 0,1 0 t1

t2

t3

Abbildung 50: Performanz während der Recallphase Durch das Training mit TAPA konnten erwartungsgemäß in der Experimentalgruppe sowohl kurzfristig als auch mittelfristig höhere Werte in der Recallphase erzielt werden. Ebenfalls vorhersagekonform ergaben sich in der Kontrollgruppe keine veränderten Werte abbilden. Die signifikanten Unterschiede zwischen Experimental- und Kontrollgruppe bestätigten die Annahme, dass durch TAPA eine Verbesserung des kategorialen Organisierens bewirkt wurde. Zusammengefasst zeigen die Befunde zum kategorialen Organisieren in Lern- und Recallphase ein einheitliches Bild: Durch das Training mit TAPA traten erwartungsgemäß in der Experimentalgruppe sowohl kurzfristig als auch mittelfristig Verbesserungen der Sortierleistung ein. Die Kontrollgruppe wies keine Veränderungen auf, während sich zwischen Experimentalund Kontrollgruppe signifikante Unterschiede ergaben.

6.3.3.3

Analyse der Gedächtnisleistung

Eine Steigerung der Fähigkeiten im Sinne verbesserter Gedächtnisleistungen stand ebenfalls im Interesse der Evaluation. Die Ergebnisse hierzu sind in Abbildung 51 graphisch dargestellt: Wie die statistische Analyse der Gedächtnisleistung im Prä- / Follow-Up-vergleich zeigte, verbesserte sich die mittlere Gedächtnisleistung in der Experimentalgruppe zwar im Mittel von 7.9 auf 8.2, jedoch waren diese Mittelwertunterschiede nicht signifikant. Eine kurzfristige

6 Evaluation von TAPA

133

Steigerung der Gedächtnisleistung durch TAPA kann demnach nicht bestätigt werden. Hingegen belegt ein Vergleich der Gedächtnisleistung zwischen erstem und drittem Messzeitpunkt signifikante Mittelwertunterschiede und verdeutlicht eine mittelfristige Verbesserung der Gedächtnisleistung. In der Kontrollgruppe kam es zu keiner bedeutsamen mittelfristigen Veränderung der Gedächtnisleistung. Die durchschnittliche Gedächtnisleistung fiel sogar vom ersten zum dritten Messzeitpunkt von 8.1 auf 7.1 leicht ab(siehe Abbildung 51). Der Vergleich von Experimental- und Kontrollgruppe zeigt, dass sich die beiden Gruppen bezüglich ihrer Gedächtnisleistung zum dritten Messzeitpunkt signifikant unterschieden: Während Nutzer der Experimentalgruppe in der Recallphase durchschnittlich 9.2 Objekte memorierten, nannten Nutzer der Kontrollgruppe im Mittel lediglich 6.7 Objekte. 12 10 8 Experimentalgruppe

6

Kontrollgruppe

4 2 0 t1

t2

t3

Abbildung 51: Gedächtnisleistung Entgegen den Erwartungen konnte die mittlere Memorierleistung der Experimentalgruppe durch TAPA kurzfristig nicht gesteigert werden. Die mittelfristigen Veränderungen der Gedächtnisleistung fielen in der Experimentalgruppe hingegen erwartungsgemäß aus: Es konnte eine mittelfristige Steigerung der Lernleistung erzielt werden. Ebenfalls erwartungsgemäß ließen sich für die Kontrollgruppe keine signifikanten mittelfristigen Veränderungen der Memorierleistung nachweisen. In der Follow-Up-Untersuchung waren Teilnehmer der Experimentalgruppe im Hinblick auf die Memorierleistung signifikant überlegen. In Analogie zur Analyse der Koeffizienten bekräftigte auch hier eine Kovarianzanalyse das vorliegende Ergebnis: Nutzer der Experimentalgruppe zeigen mittelfristig einen überzufälligen Zugewinn in ihrer Gedächtnisleistung. Darüber hinaus wird der Zusammenhang zwischen Gedächtnisleistung im Prätest und in der

6.3 Hauptevaluation an der Gutenbergschule für Lernbehinderte in Sankt Augustin

134

Follow-Up-Untersuchung deutlich. Eine besonders hohe Zahl an Objekte memorierten zum Zeitpunkt t3 solche Nutzer, die bereits zum Zeitpunkt t1 überdurchschnittlich gut memorierten.

6.3.3.4

Analyse der Metagedächtnisleistung

Die Verbesserung der Metagedächtnisleistung stellte ein zentrales Ziel von TAPA dar. Eine Überprüfung dieser Zielsetzung erfolgte anhand der erhobenen Daten aus Metagedächtnisinterview und Metagedächtnisfragebogen. Für den bewussten Einsatz kategorialen Organisierens ergeben sich auf dem 1 %-Niveau lediglich in der Experimentalgruppe signifikante Unterschiede zwischen Prätest und FollowUp-Untersuchung. Zum Zeitpunkt t3 gibt die Hälfte aller Teilnehmer an, kategorial zu sortieren, während zum Zeitpunkt t1 kein Nutzer entsprechende Angaben machte. Die Unterschiede sind hochsignifikant. Entsprechend liegen für den Zeitpunkt t3 im Vergleich von Experimental- und Kontrollgruppe überzufällige Unterschiede vor: Nutzer der Experimentalgruppe geben signifikant häufiger an, die Objekte in der Lernphase kategorial sortiert zu haben. Ein Mittelwertvergleich der im Fragebogen erhobenen Metagedächtnisleistung in Prätest und Follow-Up-Untersuchung zeigte für die Experimentalgruppe keine signifikante Steigerung. Für die Kontrollgruppe wurden ebenfalls keine bedeutsamen mittelfristigen Veränderungen hinsichtlich des bewussten Einsatzes kategorialen Organisierens registriert. Weiter belegt der Vergleich zwischen Experimentalgruppe und Kontrollgruppe zum dritten Messzeitpunkt keine signifikanten Unterschiede. 7

Experimentalgruppe

6 t1

t2

t3

Kontrollgruppe

5

Abbildung 52: Metagedächtnisleistung Bei Überprüfung der Metagedächtnisleistung für die Experimentalgruppe zeigten sich uneinheitliche Ergebnisse: Weder im Interview noch im Fragebogen wurden signifikante mittelfris-

6 Evaluation von TAPA

135

tige Veränderungen der mittleren Metagedächtnisleistung registriert. Der Vergleich von Experimental- und Kontrollgruppe hinsichtlich der ermittelten Daten aus Metagedächtnisinterview und -fragebogen lieferte ebenfalls ein uneinheitliches Bild: Während die Analysedaten des Interviews eine signifikante Verbesserung der Metagedächtnisleistung belegten, sprachen die Daten des Fragebogens gegen einen solchen Befund. Eine Kovarianzanalyse für die im Fragebogen der Follow-Up-Untersuchung ermittelte Metagedächtnisleistung, bei der für Experimental- und Kontrollgruppe die Ausprägungen des Werts, der Gedächtnis- und der Metagedächtnisleistung zum Zeitpunkt t1 als Kovariaten berücksichtigt wurden, stützt den Befund aus den Fragebogendaten.

6.4 Zusammenfassung Zusammenfassend lässt sich feststellen, dass das Training mit TAPA zu signifikanten Leistungsverbesserungen bei den getesteten lernbehinderten Kindern führte, sowohl die Gedächtnisleistung betreffend als auch die Fähigkeit, kategoriales Organisieren als Strategie des Memorierens anzuwenden. Die Kinder setzten nach dem Training die erlernten Strategien selbständig ein und gaben in den anschließenden Interviews an, beim Sortieren bewusst eine Strategie angewandt zu haben, was auch durch die in TAPA mitgeführten Protokolle verifiziert werden konnte. Zwar konnten die Kinder die von ihnen eingesetzte Sortiermethode nicht in den Einzelschritten beschreiben, doch fällt dies selbst Kindern schwer, die nicht als lernbehindert eingestuft sind. Eine solche Beschreibung des eigenen Problemlöseverhaltens erfolgt auf einer Metaebene und setzt Abstraktionsvermögen voraus. TAPA hat sich damit als Lernumgebung zur Förderung von Gedächtnisleistung und kategorialem Organisieren im Metagedächtnisbereich bewährt. Zum Einsatz im therapeutischen Umfeld ist TAPA auch durch seine leichte Bedienbarkeit und intuitive Benutzerschnittstelle geeignet sowie durch die Präsentation der Inhalte durch SIAs, welche die Motivation der Kinder positiv beeinflusste. Die nach der ersten Evaluationsrunde vorgenommenen Anpassungen -beispielsweise des Verhaltens der SIAs und des Erkennungsalgorithmus- konnten aufgrund der Modularität des Systems gezielt durchgeführt werden ohne andere Komponenten zu beeinflussen.

7 Zusammenfassung der Ergebnisse und Ausblick

136

7 Zusammenfassung der Ergebnisse und Ausblick In dem folgenden Kapitel erfolgt eine zusammenfassende Darstellung der Ergebnisse der Forschungsarbeiten, die im Rahmen dieses Promotionsvorhabens durchgeführt wurden. Aufbauend auf den Ergebnissen werden zukünftige Forschungsaufgaben beschrieben, die die hier entwickelten Konzepte zur Realisierung eines emotionalen Computersystems weiterentwickeln, auch für andere Anwendungsdomänen. Zur Zusammenzufassung der Ergebnisse soll hier an den Ausgangspunkt erinnert werden: Im Forschungsgebiet der emotionalen Computersysteme bestanden bislang nur vereinzelte Komponenten, aber keine umfassenden Integrationskonzepte. Diese Integration bedarf einer Vorgehensweise zur Konstruktion von emotionalen Computersystemen, um die Vorteile der emotionalen Komponenten auszuschöpfen und in Domänenanwendungen zu implementieren. So wurde in dieser Arbeit eine Möglichkeit aufgezeigt, wie emotionale Computersysteme entwickelt und in multimodale Umgebungen integriert werden können. Auf Basis der dargestellten Architektur wurde dann ein therapeutisches Computersystem für lernbehinderte Kinder entwickelt und zum Einsatz gebracht. Therapeutische Trainingssysteme stellen eine prädestinierte Anwendungsdomäne für emotionale Computersysteme dar, da sie nicht nur den aktuellen Erregungszustand des Nutzers erkennen, sondern auch über Sozial-Intelligente-Agenten (SIAs) Emotionen simulieren können. Beide Komponenten kompensieren durch Anpassung des Trainingssystems an die Befindlichkeit des Nutzers und stetige Motivierung durch den hohen Aufforderungscharakter des Systems die sehr niedrige Frustrationstoleranz dieser Nutzergruppe. In der vorliegenden Arbeit wurden non-invasive Biofeedbacksensoren zur Messung von Körpersignalen, unterschiedliche Verarbeitungsmethoden zur Erkennung von Erregungszuständen und mögliche Komponenten zur Simulation von Emotionen in Form von SIAs beschrieben. TAPA wurde auf Basis der entworfenen Architektur als ein emotionales Computersystem im Bereich therapeutischen Trainings entworfen. Das System beinhaltet: • Definition aller Parameter für die Anwendungsdomäne der Lernbehinderung, wie z.B.

Performanz, Strategieperformanz, Antwortzeitlatenz und „Selbstreport“ des Nutzers • Erkennung von Erregungszuständen des Nutzers. Für diese Aufgabe wurde ein Hid-

den-Markov-Modell aufgebaut, das die versteckten Erregungszustände anhand von beobachtbaren Variablen auf Basis der Signale der Hautleitfähigkeit erkennt.

7 Zusammenfassung der Ergebnisse und Ausblick

• Entwurf eines Entscheidungsalgorithmus zur Anpassung des aufgebauten therapeuti-

schen Systems an den Nutzer unter Berücksichtigung aller Parameter, inklusive des aktuellen Erregungszustandes. Dieser Entscheidungsalgorithmus wurde in Form eines endlichen Automaten realisiert. Die Erkennung der Erregungszustände und der erfolgreiche Einsatz des entwickelten Systems für die Nutzergruppe wurden während des Trainings auf zwei Ebenen protokolliert und evaluiert, zum einen durch automatische Protokollierung von Nutzeraktionen und –eingaben und zum anderen durch Beobachtungen der Untersuchungsleiterin, zu Interaktionen zwischen Nutzer und Computer und zum Nutzerverhalten.

7.1 Ergebnisse Mit der im Rahmen dieses Promotionsvorhabens entwickelten Architektur ist eine Vorgehensweise entstanden, die zur Realisierung von emotionalen Computersystemen in den verschiedensten Anwendungsdomänen dienen kann. Sie besteht aus den Komponenten Sensoren, Algorithmen zur Interpretation und Erkennung von Erregungszuständen der Nutzer, Integrationskonzept für verschiedene Anwendungsdomänen und multimodale Mensch-MaschineSchnittstelle (MMS). Diese Komponenten können flexibel kombiniert und für unterschiedliche Nutzergruppen angepasst werden. Durch die Realisierung des therapeutischen Systems TAPA wurde die Validität der vorgestellten Architektur bewiesen und die Realisierbarkeit von emotionalen Computersystemen demonstriert. In TAPA wurde erstmalig der Erregungszustand von Nutzern über die Hautleitfähigkeit ermittelt und zur Anpassung der Mensch-Maschine-Schnittstelle (MMS) erfolgreich eingesetzt. Dies wurde möglich durch: • Die zuverlässige Messung der Hautleitfähigkeit mit non-invasiven Biofeedbacksenso-

ren • Die Entwicklung von Auswertungsalgorithmen zur adäquaten Interpretation des Erre-

gungszustandes • Die Nutzung von robusten und multimodalen Interaktionstechnologien.

In dieser Arbeit wurde als innovative Komponente die Kombination des Erregungszustands von Nutzern mit Sozial Intelligenten Agenten (SIAs) eingesetzt, wodurch eine anhaltende Motivierung der Kinder (Testteilnehmer der TAPA-Evaluation) beobachtet werden konnte.

137

138

7 Zusammenfassung der Ergebnisse und Ausblick

Eine Verbesserung der Akzeptanz und der Usability konnte ebenfalls erreicht werden, nicht zuletzt durch den Einsatz von Sprachein-/ausgabe und Touchscreentechnologie. TAPA hat sich als Trainingssystem für lernbehinderte Kinder im therapeutischen Bereich als erfolgreich erwiesen. Gegenüber Kontrollgruppen konnten die Kinder, die mit dem System trainiert hatten, signifikant bessere Ergebnisse in ihrer Performanz aufweisen, sowohl hinsichtlich von Strategienanwendung als auch bei der Verbesserung ihrer Gedächtnisleistung. Der Trainingserfolg ist gleichzeitig ein Beleg für die Effektivität der Instruktionen in TAPA. Aufgrund der viel versprechenden Evaluationsergebnisse wird TAPA nun an der Gutenbergschule für Lernbehinderte in Sankt Augustin dauerhaft eingesetzt. Der weitere Einsatz von TAPA wird im Moment an drei Schulen für Lernbehinderte in Bonn erprobt.

7.2 Ausblick Die vorgestellte Architektur kann als Grundlage für die Entwicklung von zukünftigen emotionalen Computersystemen dienen, da ihre Flexibilität die Anpassung an verschiedene Nutzergruppen und die Übertragbarkeit auf andere Anwendungsdomänen sicherstellt. Dazu gehören Bereiche wie E-Learning, Computerspiele, Software Usability oder Software zur Unterstützung in der Pflege z.B. bei älteren oder behinderten Menschen. Im Bereich Trainingssysteme für lernbehinderte Kinder besteht akuter Handlungsbedarf für die Entwicklung therapeutischer Informationssysteme zur Kompensation von Lernbehinderungen. Dies belegen nicht nur die PISA Studie, sondern auch aktuelle Zahlen des statistischen Bundesamtes, worin es heißt: „In Deutschland wurden im Schuljahr 2002/2003 fast ein halbe Million Schülerinnen und Schüler an Sonderschulen unterrichtet. Auffallend hoch ist der Anteil der Kinder und Jugendlichen, die dem Förderschwerpunkt „Lernen“ zugeordnet werden, da 54% aller Sonderschüler Fördermaßnahmen zur Kompensation von Lernstörungen und Lernbehinderungen erhalten (STATISTISCHES BUNDESAMT20, 2002/03)“. Wie oben erwähnt wird TAPA bereits in der Praxis eingesetzt und könnte als unterrichtsbegleitendes Trainingsangebot bundesweit etabliert werden. Mit dem technischen Fortschritt werden Computersysteme und die dazu gehörigen MMS nicht nur mächtiger und effizienter, sondern zunehmend auch komplexer in ihrer Bedienung. Deshalb ist eine adäquate MMS ein wesentliches Ziel der Integration von emotionalen Com-

20

http:// www.destatis.de/

7 Zusammenfassung der Ergebnisse und Ausblick

putersystemen, um den mühelosen und „menschlicheren“ Zugang zu modernen Informationsund Kommunikationsinfrastrukturen zu ermöglichen. Hierzu trägt diese Arbeit als ein weiterer Schritt in der Entwicklung nutzergerechter emotionaler Computersysteme auf vielfältige Weise bei. Darauf aufbauend stellen sich jedoch folgende weiterführende Fragen: • Auf welche Weise werden die darzustellenden Informationen sowohl zeitlich als auch

inhaltlich nutzergerecht auf den Erregungszustand abgestimmt? • In welchem Maße verbessert die Nutzung von SIAs in Kombination mit dem Erre-

gungszustand des Nutzers je nach Anwendungsbereich die Ergonomie, die Effizienz und die Akzeptanz der Systeme? Es ergeben sich hieraus u. a. folgende zukünftige Forschungsaufgaben: • Erprobung anderer stochastischer Verfahren, z.B. neuronale Netze • Optimierung der emotionalen Computersysteme durch weitergehende Untersuchung

anderer Erregungszustände • Weitere Untersuchungen in Zusammenhang mit der Erkennung des Erregungszustan-

des im Bereich der Emotionen und ihres Einsatzes in einer multimodalen MMS, wie etwa die Frage nach Anpassungen der Farbkombinationen auf einer MMS entsprechend der emotionalen Befindlichkeit des Nutzers • Praxistests mit anderen Sensorarten, so erleichtert beispielsweise die Weiterentwick-

lung von Biofeedbacksensoren auf Basis drahtloser Techniken den Einsatz für alle Anwendungsdomänen und eröffnet insbesondere die Möglichkeit, emotionale Computersysteme auch in Bereichen einzusetzen, in denen Mobilität der Nutzer erforderlich ist • Weiterentwicklung und Optimierung der MMS, z.B. bei zukünftigen therapeutischen

Systemen aufbauend auf den Erkenntnissen aus der Implementierung und Evaluation von TAPA, insbesondere zu den Adaptionsmechanismen • Weitere Untersuchungen zur Adaptivität in (therapeutischen) Trainingssystemen hin-

sichtlich der „Selbsteinschätzung“, die erhebliche Unterschiede zwischen lernbehinderten und nicht lernbehinderten Kindern aufweist • Weitere Untersuchungen zur Fokussierung der Aufmerksamkeit der Nutzer auf die ge-

stellten Aufgaben durch Einsatz von SIAs. Für solche Untersuchungen kommen unterschiedliche Verfahren in Frage, z.B. die Nutzung von „Eyetracking Technologien“.

139

7 Zusammenfassung der Ergebnisse und Ausblick

140

• Weitere Forschung zur Bedeutung der SIAs, der Schnittstellenadaption basierend auf

Erregungszuständen von Nutzern und der Kombination dieser beiden Komponenten für unterschiedliche Nutzergruppen (z.B. Erwachsene) und andere Anwendungsdomänen (z.B. Lernsysteme oder Spiele). Somit bildet diese Arbeit ebenfalls eine Grundlage für aufkommende Forschungsbereiche der Informatik, um emotionale Aspekte in der Interaktion zwischen Mensch und Computer zu integrieren. Zu diesen Bereichen gehören: • Hybride Mensch-Agenten-Systeme • Virtual Reality and Mixed Reality Systeme • „Wearable Computing“ • Disappearing Computers • Mobile und UMTS basierte Systeme.

In diesem Zusammenhang ist zu erwähnen, dass im zukunftsorientierten sechsten Rahmenprogramm der Europäischen Kommission in „Technologien für die Informationsgesellschaft“ (IST) die Themenbereiche multimodale MMS sowie die Erkennung von Erregungszuständen bei Nutzern und deren Anwendung in der Informationstechnologie sogar in zwei Ausschreibungen des IST- Programms publiziert wurden, nämlich in „Kognitive Systeme“ und „Multimodale Schnittstellen“21. Darin werden ähnliche Ziele wie in diesem Promotionsvorhaben benannt. Im Ausschreibungstext „Multimodale Schnittstellen“ heißt es: „Ziel: Es sollen natürliche und adaptive multimodale Schnittstellen entwickelt werden, die intelligent auf Sprache, Sicht, Gestik, Berührung/Druck und andere Sinneswahrnehmungen reagieren.“ Als Schwerpunkte wird benannt: „Interaktion unter Menschen sowie zwischen Menschen und der virtuellen und physischen Umgebung über intuitive multimodale Schnittstellen, die autonom und imstande sind, zu lernen und sich der Nutzerumgebung in sich dynamisch wandelnden Umfeldern anzupassen. Sie sollten eine emotionale Reaktion des Nutzers erkennen und eine robuste Dialogfähigkeit mit unbeschränkter Spracheingabe besitzen.“

Im zukünftigen Forschungsprogramm „FP7“ wird Emotionsforschung noch mehr im Zentrum des Interesses stehen, da es im Fokus der Programme verschiedener Fachgruppen „Advisory

21

http://fp6.cordis.lu/fp6/call_details.cfm?CALL_ID=74#

7 Zusammenfassung der Ergebnisse und Ausblick

Group (ISTAG)“22 des „FP7“ steht, wie z.B. im Programm “Ambient Intelligence: from vision to reality”.

22

http://www.cordis.lu/ist/istag.htm

141

8 Literatur

142

8 Literatur [Allen 1995] Allen J. (1995): Natural Language Understanding. 2nd edition. Addison-Wesley Publishing Co. [André 1999a] Andr´e E., Rist T. (1999): Presenting through Performing:On the Use of Multiple Lifelike Characters in Knowledge-Based PresentationSystems. [André 1999b] Andr´e E. et al.. (1999): Integrating Models of Personality and Emotions into Lifelike Characters.http://www.dfki.de/ allen/Papers/Siena.pdf. [André 2000] Andr´e E. et al.. (2000): The Automated Design of Believable Dialouges for Animated Presentation Teams, pages 220–255. In [Cassell, J. et al.., 2000]. [Ark & Dryer 2000] Ark W., Dryer D.C., Lu D.J. (2000): The Emotion Mouse. IBM Research Division. [Ball & Breese 1999a] Ball G., Breese J. (1999): Modeling the Emotional State of Computer Users. In: Workshop on Attitude, Personality and Emotions in User-Adapted Interaction, UM ‘99. [Ball & Breese 1999b] Ball G., Breese, J. (1999): Modeling the emotional state of computer users. In Workshop on ‘Attitude, Personality and Emotions in User-Adapted Interaction’, UM ‘99, Banff, Canada. [Ball & Breese 2000] Ball G., Breese J. (2000): Emotion and Personality in a Conversational Agent, pages 189– 217. In [Cassell, J. et al.., 2000]. [Ball 1997] Ball, G., (1997): Lifelike Computer Characters: The Persona Project at Microsoft Research. In Saftware Agents (eds. Bradshaw, J.M.) 191-222 AAAI Press/The MIT Press, Menlo Park, California. [Batliner & Wahlster 2000] Batliner, Huber, Niemann, Nöth, Spilker, Fischer (2000): The Recognition of Emotion. In W. Wahlster (editor): Verbmobil: Foundations of Speech-to-Speech Translations, pages 122130. Springer, New York, Berlin. [Bates 1992a] Bates J., Loyall A. B., Reilly W. S. (1992a): An Architecture for Action, Emotion, and Social Behavior. In: Proceedings of the Fourth European Workshop on Modeling Autonomous Agents in a MultiAgent World. S. Martino al Cimino, Italien. [Bates 1992b] Bates J., Loyall A. B., Reilly W. S. (1992b): Integrating Reactivity, Goals, and Emotion in a Broad Agent. In: Proceedings of the Fourteenth Annual Conference of the Cognitive Science Society. Bloomington, Indiana. [Bates 1994] Bates J. (1994): The role of Emotion in Believable Agents. Communications of the ACM. [Berekoven et al. 1999] Berekoven, L., Eckert, W. & Ellenrieder, P. (1999). Marktforschung. Wiesbaden: Gabler. [Bianchi N., Lisetti C. L. 2002] Bianchi N. , Lisetti C. L. (2002) Modeling Multimodal Expression of User’s Affective Subjective Experience, User Modeling and User Adapted Interaction, 12(1): 49-84. [Bortz 1999] Bortz J. (1999): Statistik für Sozialwissenschaftler (5. Auflage). Berlin: Springer-Verlag. [Breese 1998] BreeseJ., Ball, G. (1998): Modeling Emotional State and Personality for Conversational Agents. Microsoft Research, Redmond. [Bruns & Praun 2002] Bruns & Praun (2002): Biofeedback, Ein Handbuch für die therapeutische Praxis. Vandenhoeck&Ruprecht [Canamero 1997] Canamero D. (1997): Modelling motivations and emotions as a basis for intelligent behavior.

8 Literatur

143

In: Proceedings of Agents ‘97. ACM. [Cassell 2000] Cassell J. et al.. (2000): Embodied Conversational Agents. The MIT Press. [Cavanaugh & Borkowski 1980] Cavanaugh J.C., Borkowski, J.G. (1980). Searching for Metamemory-Memory Connections: A Developmental Study. Developmental Psychology, 16 (5), 441-453. [Cavanaugh&Perlmutter 1982] Cavanaugh J. C., Perlmutter M. (1982): Metamemory: A critical examination. Child Development, 53, 11-28. [Chul Min & Narayanan 2004] Chul Min L., Shrikanth N.: Towards detecting emotions in spoken dialogs, IEEE Transactions on Speech and Audio Processing, In press, 2004. [Conati 2002a] Conati, C. (2002): Probabilistic assessment of user’s emotions in education games. Journal of Applied Artificial Intelligence, special issue on “ Merging Cognition and Affect in HCI”, 16 (7-8). [Conati 2002b] Conati C., Zhou, X. (2002): Modeling students’ emotions from cognitive appraisal in education games. In Proceedings of ITS 2002, 6th International Conference on Intelligent Tutoring Systems, Biarritz, France. [Conati 2002c] Conati C., Klawe M. (2002): Socially Intelligent Agents in Educational Games. In Socially Intelligent Agents - Creating Relationships with Computers and Robots. Dautenhahn, K., Bond A., Canamero, D., & Edmonds B., (Eds). Kluwer Academic Publishers. [Damasio 1994] Damasio A. R.(1994): Descartes’ Error. Emotion, Reason and the Human Brain. Avon Books. [Damasio 1997] Damasio A.R.: Descartes Irrtum. Fühlen , Denken und das menschliche Gehirn. dtv. Müchen 1997. [Damm 2004] Damm S.: Evaluation des Programms TAPA zur Metagedächtnisverbesserung, Universität Bonn, Fakulität der Psychologie [Dautenhahn 1998] Dautenhahn K.: The art of desgining socially intelligent agents: science, fiction and the human in the loop. Applied Artificial Intelligence Journal, Special Issue on Socially Intelligent Agents, 12(7-8):573-617, 1998 [Dautenhahn 2002] Dautenhan K. (2002): Socially Intelligent Agents in Educational Games. In Socially Intelligent Agents - Creating Relationships with Computers and Robots. Dautenhahn, K., Bond A., Canamero, D., & Edmonds B., (Eds). Kluwer Academic Publishers. [Dean and Kanazawa 1989] Dean T., K. Kanazawa (1989). A Model for Reasoning about Persistence and Causation. Computational Intelligence 5(3): 142-150. [ Dyer 1982] Dyer M.G. (1982): In-depth understanding. A computer model of integrated processing for narrative comprehension. Cambridge, Mass., MIT Press. [Dyer 1987] Dyer, M.G. (1987): Emotions and their Computations: Three Computer Models. In: Cognition and Emotion, 1 (3), S. 323-347. [Ekmann & Friesen 1978] P. Ekman and W. V. Friesen: Facial Action Coding System: Investigator’s Guide. Consulting Psychologists Press, Palo Alto, CA, 1978. [Ekman et al.1983] Ekman, P., Levenson, W., & Friesen, W.V. (1983). Autonomic nervous system activity distinguishes among emotions. Science, 221, 1208-1210. [Elliott 1992] Elliott C. (1992): The Affective Reasoner: A Process Model of Emotions in a Multi-agent System. Ph.D. Dissertation, Northwestern University, The Institute for the Learning Sciences, Technical Report No.32.

8 Literatur

144

[Elliott 1994] Elliott C. (1994): Research problems in the use of a shallow artificial intelligence model of personality and emotion. In: Proceedings of the Twelfth National Conference on Artificial Intelligence. Seattle, WA: AAAI. [Elliott 1994b] Elliott C. (1994b): Components of two-way emotion communciation between humans and computers using a broad, rudimentary, model of affect and personality. In: COGNITIVE STUDIES: Bulletin of the Japanese Cognitive Science Society, 1(2):16-30. [Elliott 1970] Elliott C. (19970): I picked up catapia and other stories: A multimodal approach to expressivity for “emotionally intelligent” agents. In: Proceedings of the First International Conference on Autonomous Agents. [Elliott 1997b] Elliott C. (1997b): Hunting for the Holy Grail with “emotionally intelligent” virtual actors. http://condor.depaul.edu/~elliott. [Elliot 1997c] Elliott C., Rickel J., Lester J.C. (1997): Integrating affective computing into animated tutoring agents. Erhältlich unter http://condor.depaul.edu/~elliott. [El-Nasr 1998] El-Nasr, M.S., Ioerger, T.R., Yen, J. (1998): PETEEI: A PET with Evolving Emotional Intelligence. Computer Science Departement, Texas A&M University. [El-Nasr 2000] El-Nasr, M.S., Yen J., Ioerger T.R. (2000): FLAME – Fuzzy logic adaptive model of emotions. In: Autonomous Agents and Mulit-agent Systems, 3(3), pp. 219-257. Kluwer Academic Publ., Dordrecht. [Farwell et al. 1985] Farwell J. R., Dodrill C. B., Batzel L. W. (1985): Neuropsychological Abilities of Children with Epilepsy. Epilepsia, 26 (Suppl. 5), 395-400. (1) [Fischer 2001] Fischer, G., Ye, Y. (2001) Exploiting Context to Make Delivered Information Relevant to Tasks and Users. Workshop on User Modelling for Context-Aware Applications. Sonthofen, Germany (July 2001). Available at: http://orgwis.gmd.de/~gross/um2001ws/papers/fischer.pdf [Flammer et al. 1995] Flammer, A., & Scheuber-Sahli, E. (1995). Selective recall as intervention to modify control-beliefs in an achievement setting. Swiss Journal of Psychology, 54, 50-56 [Flammer et al. 2002] Flammer, A., & Nakamura. Y. (2002). An den Grenzen der Kontrolle. In M. Jerusalem & D. Hopf (Hg.), Selbstwirksamkeit und Motivationsprozesse im Bildungsbereich. Beiheft der Zeitschrift für Pädagogik (S. 83-112). Weinheim: Beltz [Flammer et al. 2003] Flammer, A., & Schmid, D. (2003). Attribution of conditions for school performance. European Journal of Psychology of Education, 18, 000-020. [Foliot et al. 1998] Foliot G., Michel O. (1998): Learning Object Significance with an Emotion based Process. 5th International Conference of the Society for Adaptive Behavior, Zürich. http://www.ai. univie.ac.at/~paolo/conf/sab98/sab98ws.html. [Fernandez 1997] Fernandez, R. (1997): Stochastic Modeling of Physiological Signals with Hidden Markov Models: A Step Toward Frustration Detection in Human-Computer Interaction. MIT Media Lab Tech Report No 446. [Fisseni 1997] Fisseni H. - J. (1997): Lehrbuch der psychologischen Diagnostik (2. Auflage). Göttingen: Hogrefe. [Flavell 1971] Flavell J.H. (1971): First Discussant’s Comments: What is Memory Development the Development of? Human Development, 14, 272-278. [Fernandez & Picard 1998] Fernandez R., Picard R.W. (1998): Signal Processing for Recognition of Human Frustration. MIT Media Lab Tech Report No 447.

8 Literatur

145

[Franklin&Graesser 1996] Franklin S., Graesser, A. (1996): Is it an Agent, or just a Program?: A Taxonomy for Autonomous Agents. In: Proceedings of the Third International Workshop on Agent Theories, Architectures, and Languages. Springer Verlag. [Frijda et al. 1987] Frijda N.H., Swagerman, J. (1987): Can computers feel? Theory and design of an emotional system. In: Cognition and Emotion, 1, S. 235-258. [Frijda et al. 1993] Frijda N.H., Moffat, D. (1993): A model of emotions and emotion communication. In: Proceedings of RO-MAN ‘93: 2nd IEEE International Workshop on Robot and Human Communication. [Frijda et al. 1994] Frijda N.H. , Moffat D. (1994): Modeling emotion. In: Cognitive Studies, 1:2, S. 5-15. [Fröhlich 1997] Fröhlich, Werner D. (1997). Wörterbuch Psychologie. (21.Aufl.). München: dtv. [Gandy 2003] Gandy M, Ross D, Starner T (2003). Universal Design: Lessons for Wearable Computing. IEEE Pervasive Computing: Mobile and Ubiquitous Systems, Vol. 2, Number 3, July-September 2003, pp.19-23. [Gans et al. 2001] Gans G., Jarke M., Kethers S., Lakemeyer G., Ellrich L., Funken C., Meister M. . 2001: Towards (Dis)Trust-Based Simulations of Agent Networks. Ein internationales Journal zur Sozionik ISSN 1617-2477 [Goleman 1995] Goleman D. (1995): Emotional Intelligence. Bantam Books, New York, 1995. [Gratch 2001] Gratch J., Marsella S. (2001): Tears and Fears, Modeling Emotions and Emotional Behaviors in Synthetic Agents. University of Southern California, USA. [Haag 2004] Haag A., Gorozy S., Schaich P., Williams J.: Emotion Recognition Using Bio-Sensors: First Steps Toward an Automatic System. Affective Dialogue Systems, Tutorial and Research Workshop, ADS 2004, Kloster Irsee, Germany, June 14-16, 2004, Proceedings. Lecture Notes in Computer Science 3068 Springer 2004, ISBN 3-540-22143-3 [Haenelt 2002a] Haenelt K. (2002): Hidden Markov Models. Kursfolien. 09.05.2002. 29 S. http://kontext.fraunhofer.de/haenelt/kurs/folien/HMM.htm [Haenelt 2002b] Haenelt K. (2002): Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung. Kursfolien. 04.05.2002. 32 S. http://kontext.fraunhofer.de/haenelt/kurs/ folien/ElementarWahrscheinlichkeit.htm [Hammer 2002] Hammer S. (2002): Leistungsdiagnostik bei Epilepsie im Kindesalter. Diplomarbeit im Fach Psychologie an der Rheinischen Friedrich-Wilhelms-Universität BonnPhilosophische Fakultät [Hasselhorn et al. 1992] Hasselhorn M., Mähler C.: Kategorisierungstraining bei Grund- und Sonderschülern (L), Zur Rolle metamemorialer Instruktionselemente. Psychologie in Erziehung und Unterricht, Bd 39, 1992: 179-189. [Hasselhorn,Grube&Mähler 1995] Hasselhorn M., Grube D. , Mähler, C. (1995): Entwicklungsver-änderungen und -stabilitäten im Metagedächtnis während der Grundschuljahre. Empirische Pädagogik, 9, 33-53. [Hasselhorn et al. 1996] HASSELHORN M.: Kategoriales Organisieren bei Kindern. Zur Entwicklung einer Gedächtnisstrategie. Göttingen: Hogrefe-Verlag 1996. [Haverkamp et al. 1998] Haverkamp F., Tebarth H., Mayer H., Noeker M.: Serielle und simultane Informationsverarbeitung bei Kindern mit symptomatischer und idiopathischer Epilepsie: Konsequenzen für eine spezifische pädagogische Förderung. Aktuelle Neuropädiatrie 1998. [Hartig et al. 1999] Hartig, Jude, Moosbauer: Mitteilbarkeit von Emotionen in Computer vermittelter Kommunikation Universität Frankfurt am Main: http://www.rz.uni-frankfurt.de/~johartig/GOR99/ Schrift-

8 Literatur

146

fassung.html [Hayes-Roth et al. 1998] Hayes-Roth B., Ball G., Picard R.W., Lisetti C., Stern A. (1998): Panel on affect and emotion in the user interface. In: Proceedings of the 1998 International Conference on Intelligent User Interfaces, pp. 91-94. ACM Press, New York. [Healey & Picard 1998] Healey, J., Picard, R.W. (1998): Digital Processing of Affective Signals. In: Proceedings of the ICASSP, 1998. [Healey & Picard et al. 1998] Healey J., Picard R.W., Dabek F. (1998): A New Affect-Perceiving Interface and Its Application to Personalized Music Selection. MIT Media Lab Tech Report #478. MIT, Cambridge. [Healey 2000] Healey J. (2000). Wearable and automotive systems for affect recognition from physiology. PhD thesis, MIT, Cambridge, MA, 2000. [Horvitz 2003] Horvitz, E: Selective Perception Policies for Guiding Sensing and Computation in Multimodal Systems: A Comparative Analysis. Proceedings of the 5th international conference on Multimodal interfaces table of contents vancouver, British Columbia, Canada Pages: 36 – 43, Year of Publication: 2003 ISBN:158113-621-8 [Hudlicka 2002] Hudlicka E., McNeese, M. (2002). Assessment of User Affective and Belief States for Interface Adaptation: Application to an Air Force Pilot Task. User Modeling and User Adapted Interaction, 12(1), 147. [Johnson 1998] Johnson W.L. , Rickel J. (1998): Steve, An animated pedagogical agent for procedural training in virtual environments. SIGART Bulletin 8, pp. 16-21. [Johnson et al. 1999] Johnson W., Lewis, Lester, James C., Rickel J.W. (1999): Animated Pedagogical Agents, Face-to-Face Interaction in Interactive Learning Environments.http://www.csc.ncsu.edu/eos/ users/l/lester/www/imedia/apa-ijaied-2000.html. [Imhof 1998] Imhof, M: Erprobung der deutschen Version der Adjektiv-Checkliste nach Thayer (1989) zur Erfassung der aktuellen Aktiviertheit. Zeitschrift für Differentielle und Diagnostische Psychologie 1998; 3; 179-186; Hans Huber AG, Bern [Kaiser et al. 1993] Kaiser S., Wehrle, T. (1993): Emotion research and AI: Some theoretical and technical issues. Erhältlich unter http://www.unige.ch/fapse/emotion/. [Kaiser et al. 1994] Kaiser S. et al. (1994): Multi-modal emotion measurements in an interactive computer-game: A pilot-study. In: N. Frijda (ed.): Proceedings of the VIIIth Conference of the International Society for Research on Emotion, 1994. [Kaiser et al. 1998] Kaiser S., Wehrle T., Schmidt, S. (1998): Emotional Szenes, facial expressions, and reported feelings in human-computer interactions. In: Fischer, A.H. (Ed.), Proceedings of the Xth Conference of the International Society for Research on Emotions, pp. 82-86. ISRE Publications, Würzburg. [Kapoor et al. 2001] Kapoor A., Mota S., Picard R.W. (2001): Toward a Learning Companion that Recognizes Affect. MIT Media Lab Tech Report No 543. Proceedings from Emotional and Intelligent II, AAAI Fall Symposium, November 2001 [Klein 2003] Klein S.: Neue Züricher Zeitung vom 07.09.2003, http://mittelschulvorbereitung.ch /index.php?SUBJECT=&actualid=8 [Klein et al. 2002] Klein J., Moon Y., Picard R.W. (2002): This Computer Responds to User Frustration. In: Interacting with Computers, Vol.14, 119-140. [Kobi 1975] Kobi E.: Die Rehabilitation der Lernbehinderten. München/ Basel 1975

8 Literatur

147

[Kolb 1998] Kolb H.J. (1998): Informationsverarbeitung in der Messtechnik zur Diagnose und Qualitätssicherung, 43rd International Scientific Colloquium, Technical University of Ilmenau, September 21-24, 1998 [Kort et al. 2001] Kort B., Reilly R., Picard R.W. (2001): External Representation of Learning Process and Domain Knowledge: Affective State as a Determinate of its Structure and Function. MIT Media Lab Tech Report No 546. Published in: Proceedings of Artificial Intelligence in Education Workshops (AI-ED). [Krause 1996] aus Skript 1996 Prof. Krause Emotionsspezifische Profile physiologischer Erregung (Levenson et al., 1990) http://www.uni-saarland.de/fak5/krause/emo/vorlesun/l5/levenson.htm [Lachnet 1994] Lachnit H, Wolter J: Skin conduction as an indicator of cognitive and emotional processes. Z Exp Angew Psychol 1994;41(1):116-24 [Laurel 1998] Laurel B. (1998): An Interview with Brenda Laurel (Purple Moon), in From Barbie to Mortal Combat:Gender and Computer Games. Ed. Cassell, J., Jenkins, H., Cambridge, Massachusetts: MIT Press. [Lester 2000] Lester J.C. et al.. (2000). Deictic and EmotiveCommunication in Animated Pedagogical Agents, pages 123–153. In [Cassell, J. et al.., 2000]. [Levenson et al. 1990] Levenson, R. W., Ekman, P., & Friesen, W. V. (1990). Voluntary facial action generates emotion-specific autonomic nervous system activity. Psychophysiology, 27, 363-384. [Lewis 2000] LEWIS JW, RICKEL JW. (2000): Animated Pedagogical Agents: Face to Face Interaction in Interactive Learning Environments: International Journal of Artificial Intelligence in Education, 2000. [Lim et al. 1999] Lim CL, Gordon E, Rennie C, Wright JJ, Bahramali H, Li WM, Clouston P, Morris JG: Dynamics of SCR, EEG, and ERP activity in an oddball paradigm with short interstimulus intervals. Psychophysiology. 1999 Sep;36(5):543-51. [Lim et al. 1996] Lim CL, Barry RJ, Gordon E, Sawant A, Rennie C, Yiannikas C: The relationship between quantified EEG and skin conductance level. Int J Psychophysiol. 1996 Feb-Mar;21(2-3):151-62. [Manning & Schütze 1999] Manning, Christopher D., Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: http://www .sultry.arts.usyd.edu.au/fsnlp) [Maes 1994] Maes P.(1994): Agent that Reduces Work and Information Overload. Communications of the ACM, 37 (1994) [Marques 2001] Marques de Sa J.P. (2001): Pattern Recognition. Concepts, Methods and Applications, Gebundene Ausgabe, Springer-Verlag Berlin Heidelberg, Erscheinungsdatum: 14. August 2001, ISBN: 3540422978 [McCrae et al. 1992] McCrae R., John O. (1992): An introduction to the five-factor model and its implication. Journal of Personality, pages 175–215. [Marsella 2002] Marsella S. (2002): Pedagogical Soap, Creating Relationships with Computers and Robots. Dautenhahn, K., Bond A., Canamero, D., & Edmonds B., (Eds). Kluwer Academic Publishers. [Michaud 2002] Michaud F. Theberge-Turmel (2002): Mobile Robotic Toys and Autism, Creating Relationships with Computers and Robots. Dautenhahn, K., Bond A., Canamero, D., & Edmonds B., (Eds). Kluwer Academic Publishers 2002. [Moffat 1993] Moffat D., Frijda N.H., Phaf H. (1993): Analysis of a model of emotions. In: A. Sloman, D. Hogg, G. Humphreys, A. Ramsay, D. Partridge (eds.): Prospects for Artificial Intelligence. Amsterdam, IOS Press.

8 Literatur

148

[Moffat 1995] Moffat D., Frijda N.H. (1995): Where there’s a Will there’s an Agent. In: M.J. Woolridge und N.R. Jennings (eds.): Intelligent Agents - Proceedings of the 1994 Workshop on Agent Theories, Architectures, and Languages. Springer. [Moffat 1997] Moffat D. (1997): Personality parameters and programs. In: R. Trappl und P. Peta (eds.): Creating personalities for synthetic actors. Springer. [Mohamad & Tebarth 2001] Mohamad Y., Tebarth H. (2001): Evaluation in the Development of a tele-medical Training System: Universal Access in HCI: Towards an Information Society for All Volume 3 of the Procedding of HCI international 2001 August 5-10, 2001 New Orleans, Louisiana, USA LAWRENCE ERLBAUM ASSOCIATES, PUBLISHERS Page 836 – page 839 [Mohamad et al. 2002a] Mohamad Y., Hammer S., Haverkamp F., Nöker M.,Tebarth H. (2002): First Evaluational Results in the Development of Training by Animated Agents (TAPA). Mensch und Computer 2002, Teubner 2002 [Mohamad et al. 2002b] Mohamad Y., Hammer S., Haverkamp F., Nöker M., Tebarth H. (2002): Evaluational Study: Training with Animated Pedagogical Agents ICCHP 2002 117-124, Springer-Verlag Berlin Heidelberg 2002 [Mohamad et al. 2003] Mohamad Y.,Velasco C. A, Berlage T.: An Approach toward building of adaptive training and therapeutic systems considering the users affective state . HCI international Proceedings 2003 Crete Greece. [Mohamad et al. 2004] Mohamad Y., Velasco C., Damm S., Tebarth H. (2004): Cognitive Training with Animated Pedagogical Agents (TAPA) in Children with Learning Disabilities, ICCHP 2004 9th International Conference on Computers Helping People with Special Needs July 7-9, 2004, Université Pierre et Marie Curie, Paris, France [Moreno et al. 2001] Moreno R., Mayer R. E., Spires H., Lester J. (2001): The case for social agency in computer-based teaching: Do students learn more deeply whttn they interact with animated pedagogical agents? Cognition and Instruction, 19, 177-214. [Mueller 1985] Mueller E., Dyer M.G. (1985): Daydreaming in humans and computers. In: Proceedings of the Ninth International Joint Conference on Artificial Intelligence. Los Angeles, CA. [Müller 2000] Müller K., Kohlmorgen J., Ziehe A., Blankertz B.: Decomposition algorithms for analysing brain signals. In Simon Haykin, editor, Adaptive Systems for Signal Processing, Communications and Control, pages 105-110, 2000. [Müller-Clostermann 2002] Müller-Clostermann B.: Skript Stochastische Netze, Institut für Informatik and der Universität Essen 2002 [Myrhaug 2001] Myrhaug, H. I. (2001) Towards Life-Long and Personal Context Spaces. Workshop on User Modelling for Context-Aware Applications. Sonthofen, Germany (July 2001). Available at: http://orgwis.gmd.de/~gross/um2001ws/papers/myrhaug.pdf [Nagai et al. 2004a] Nagai Y, Goldstein LH, Critchley HD, Fenwick PB: Influence of sympathetic autonomic arousal on cortical arousal: implications for a therapeutic behavioural intervention in epilepsy. Epilepsy Res. 2004 Feb;58(2-3):185-93. [Nagai et al. 2004b] Nagai Y, Critchley HD, Featherstone E, Trimble MR, Dolan RJ: Activity in ventromedial prefrontal cortex covaries with sympathetic skin conductance level: a physiological account of a „default mode“ of brain function. Neuroimage. 2004 May;22(1):243-51.

8 Literatur

149

[Ney 2002] Ney H. :Skript Ausarbeitung zur Vorlesung Mustererkennung und Neuronale Netze an der RWTH Aachen vom Sommersemester 2002 [Nikula 1991] Nikula R: Psychological correlates of nonspecific skin conductance responses. Psychophysiology 1991 Jan;28(1):86-90 [Norman 2004] Norman D. A.: Emotional Design: Why We Love or Hate Everyday Things, Basic Books, 2004 [Oatley 1987] Oatley K., Johnson-LairdP.N. (1987): Towards a cognitive theory of emotions. Cognition and Emotion, 1, 29-50. [Oatley 1992] Oatley K. (1992): Best Laid Schemes. The Psychology of Emotions. Paris, Cambridge University Press. [Oatley et al. 1996] Oatley K., Jenkins, J.M. (1996): Understanding Emotions. Blackwell. [Ortony, Clore & Collins 1988] Ortony A., Clore G.L., Collins A. (1988): The cognitive structure of emotions. Cambridge, U.K., Cambridge University Press. [ Patterson 1996] Patterson von Dan W. 1996: Künstliche neuronale Netze. Das Lehrbuch, Pearson Education, Mchn. 1996 ISBN: 3827295319 [Perleth 1992] Perleth C. (1992): Strategienutzung, Metagedächtnis und intellektuelle Begabung. München: LMU. [Prendinger 2001] Prendinger H., Ishizuka M. (2001a): Simulating Affective Communication with Animated Agents. In: Proceedings of INTERACT ´01. Hirose, M. (Ed.). IOS Press. [Prendinger 2001b] Prendinger H., Ishizuka M. (2001b): Social Role Awareness in Animated Agents. Dept. of Information and Communication Engineering. University of Tokyo. [Pfeifer 1982] Pfeifer R. (1982): Cognition and emotion: an information processing approach. Carnegie-Mellon University, CIP Working Paper Nb. 436. [Pfeifer 1988] Pfeifer R. (1988): Artificial intelligence models of emotion. In: V. Hamilton, G. Bower, & N. Frijda (eds.). Cognitive perspectives on emotion and motivation. Proceedings of the NATO Advanced Research Workshop. Dordrecht, Kluwer. [Pfeifer 1994] Pfeifer R. (1994): The “Fungus Eater” approach to the study of emotion: A View from Artificial Intelligence. Techreport #95.04. Artificial Intelligence Laboratory, University of Zürich. [Pfeifer 1996] Pfeifer, R. (1996). Building “Fungus Eaters”: Design Priciples of Autonomous Agents. In: Proceedings of the Fourth International Conference of the Society for Adaptive Behavior. Cambridge, MA, MIT Press. [Pfeifer 1998] Pfeifer R. (1998).: Cognition. In L. Steels (ed.). The biology and technology of intelligent autonomous agents. Proceedings of the NATO Advanced Study Institute. Trento, Italien. [Picard 1995] Picard R. (1995): Affective computing. Cambridge: MIT Press. [Picard 1997] Picard R.W.(1997): Affective Computing. MIT Press, Cambridge MA. [Picard 2001] Picard R.W., Klein J. (2001): Computers that Recognise and Respond to User Emotion: Theoretical and Practical Implications. MIT Media Lab Tech Report No 538. [Picard 2001b] Picard R.W., Vyzas E., Healey J. (2001): Toward Machine Emotional Intelligence: Analysis of Affective Physiological State. MIT Media Lab Technical Report No 536. To appear in IEEE Transactions on Pattern Analysis and Machine Intelligence.

8 Literatur

150

[Picard 2001] Picard R.W., Vyzas E., Healey J. (2001): Toward Machine Emotional Intelligence: Analysis of Affective Physiological State. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(10), 1175-1191. [Rabiner 1989] Rabiner L. R.: A tutorial on hidden Markov models and selected applications in speech recognition. Proceed. of the IEEE, 77(2):257–286, Feb. 1989. [Reber et al. 1997a] Reber, R., Niemeyer, M., & Flammer, A. (1997). Kontrollüberzeugungen bei Haupt- und Realschülern: Evidenz für die Verwendung individueller Bezugsnormen bei Schülern [Control beliefs and school type: Evidence of individual referencing]. Zeitschrift für Pädagogische Psychologie, 11, 187-194 [Reber et al. 1997b] Reber, R., Flammer, A., & Niemeyer, M. (1997). Kontrollatributionen und Leistungserwartung [Control attribution and mastery expectation]. Empirische Pädagogik, 11, 1-10 [Read 1993] Read T., Sloman, A. (1993): The Terminological Pitfalls of Studying Emotion. [Reeves 1991] Reeves J.F. (1991): Computational morality: A process model of belief conflict and resolution for story understanding. Technical Report UCLA-AI-91-05, UCLA Artificial Intelligence Laboratory. [Reichardt 2003] Reichardt (2003): Emotionale Computer, http://www.dirkreichardt.com/ emotion/ index.html [Reilly 19992] Reilly W. S., Bates, J. (1992): Building Emotional Agents. Technical Report CMU-CS-92-143, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA. [Reilly 19996] Reilly W.S. (1996): Believable Social and Emotional Agents. PhD thesis. Technical Report CMU-CS-96-138, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA. [Revelle 1992] Revelle, W.; Loftus, D. A.: The Implications of Arousal Effects for the Study of Affect and Memory in S.A. Christianson (Ed.) (1992) Handbook of Emotion and Memory. Erlebaum. [Reynolds 2001] Reynolds, C., Picard, R.W. (2001): Designing for Affective Interactions. MIT Media Lab. Unpublished. [Rickenberg 2000] Rickenberg R., Reeves B. (2000): The Effects of Animated Characters on Anxiety, Task Performance, and Evaluations of User Interfaces. In: CHI 2000. [Rigol 1994] Rigoll G (1994).: Neuronale Netze - Eine Einführung für Ingenieure, Informatiker und Naturwissenschaftler. Reihe „Kontakt & Studium“, Expert Verlag, 1994, 274 Seiten. [Rigol 1998] Rigoll G (1998).: Hybrid Speech Recognition Systems: A Real Alternative to Traditional Approaches? Survey Lecture, Intl. Workshop “Speech and Computer”, pp. 33-42, St. Petersburg, Russia, October 1998 [Rigol 1999] Rigoll G., Müller S.: Statistical Pattern Recognition Techniques for Multimodal Human Computer Interaction and Multimedia Information Processing. Survey Paper, Int. Workshop “Speech and Computer”, pages 60-69, Moscow, Russia, October 1999 [Roenker et al. 1970] RoenkerD. L., Thompson C. P., Brown S. C. (1971): Comparison of Measures for the Estimation of Clustering in Free Recall. Psychological Bulletin, 76 (1), 45-48 [Rollenhagen 1989] Rollenhagen C., Dalkvist, J. (1989): Cognitive contents in emotion: A content analysis of retrospective reports of emotional situations. Technical Report, Department of Psychology, University of Stockholm. [Roseman 1979] Roseman I.J. (1979): Cognitive aspects of emotion and emotional behavior. Paper presented at the 87th Annual Convention, American Psychological Association. New York, NY. [Roseman 1984] Roseman I.J. (1984): Cognitive determinants of emotions: A structural theory. In: P. Shaver

8 Literatur

151

(Ed.): Review of personality and social psychology, Vol. 5. Beverly Hills, CA, Sage. [Roseman 1991] Roseman I.J. (1991): Appraisal determinants of discrete emotions. In: Cognition and Emotion, 3, 161-200. [Roseman 1996] Roseman I.J, Antoniou A.A., Jose P.A. (1996): Appraisal Determinants of Emotions: Constructing a More Accurate and Comprehensive Theory. In: Cognition and Emotion, 10 (3), S. 241-277. [Russel et al. 1995] Russell S., Norvig P. (1995): Artificial intelligence:a modern approach, chapter Probabilistic reasoning systems, pages436–470. Prentice Hall. [Scheirer et al. 2001] Scheirer J., Fernandez R., Klein J., Picard R.W. (2001): Frustrating the User on Purpose: A Step Toward Building an Affective Computer. Interaction with Computers, Elsevier, Netherlands. [Scherer 1984] Scherer K. (1984): On the nature and function of emotion: a component process approach. In K.R. Scherer, and P. Ekman (eds.). Approaches to emotion. Hillsdale, N.J., Erlbaum. [Scherer 1988] Scherer K. (1988): Criteria for emotion-antecedent appraisal: A review. In: V. Hamilton, G.H. Bower, N.H. Frijda (eds.): Cognitive perspectives on emotion and motivation. Dordrecht, Kluwer. [Scherer 1993] Scherer K. (1993): Studying the Emotion-Antecedent Appraisal Process: An Expert System Approach. In: Cognition and Emotion, 7 (3/4), S. 325-355. [Scheirer et al. 2002] Scheirer J., Fernandez R., Klein J., Picard R.W. (2002): Frustrating the User on Purpose: A Step Toward Building an Affective Computer. Interacting with Computers, 14(2), 93-118. [Schneider 1989] Schneider, W. (1989). Zur Entwicklung des Meta-Gedächtnisses bei Kindern. Bern: Huber. [Shneiderman 1997] Shneiderman B.: Designing the User Interface. Strategies for Effective Human-Computer Interaction, Addison Wesley, Erscheinungsdatum: 1997 [Schröder 2000] Schröder U.: Lernbehindertenpädagogik. Grundlagen und Perspektiven sonderpädagogischer Lernhilfe. Stuttgart/ Berlin/ Köln 2000 [Schulz-von-Thun 2004] Schultz-von-Thun F.: Emotion 2004. http://de.wikipedia.org/wiki/Emotion [Simon 1967] Simon H.A. (1967): Motivational and emotional controls of cognition. Psychological Review, 74, 29-39. [Simon 1996] Simon H.A. (1996): Computational Theories of Cognition. In: W. O’Donohue und R.F. Kitchener (eds.): The Philosophy of Psychology. Sage. [Sloman 1981] Sloman A. (1981): Why robots will have emotions. Proceedings IJCAI. [Sloman 1987] Sloman A. (1987): Motives Mechanisms and Emotions. In: Cognition and Emotion 1,3. [Tebarth et al. 2000] Tebarth H., Mohamad Y., Pieper M.: Cognitive Training by Animated Pedagogical Agents (TAPA) Development of a Tele-Medical System for Memory Improvement in Children with Epilepsy. 6th ERCIM Work shop User Interfaces for All. CNR-IROE, Florence, Italy 25-26 October 2000. [Tessar 2001] Tessar H.: Emotionen auf dem Daten-Highway Eine psychologische Betrachtung über Gefühle im Zeitalter des Internets: http://www.psychologie.unimannheim.de/psycho3 /lehre0001/internet/020201.pdf [Thompson et al. 2000] Thompson C.A., Mehmet H., Göker: Learning to Suggest: The Adaptive Place Advisor, http://www.cs.utah.edu/~cindi/papers/aui2000.pdf [Trochim 2002] Trochim S. Situiertes Lernen in Augmented-Reality-basierten Trainingssystemen am Beispiel der Echokardiographie 2002, Verlag Dr. Hut [van Oyen et al. 1995] Van Oyen C., Vrana S.R. (1995): Psychophysiological responses as indices of affective

8 Literatur

152

dimensions. Psychophysiology, 32, 436-443 . [Velasco&Mohamad 2002] Velasco C A, Mohamad Y (2002): Web Services and User/Device Profiling for Accessible Internet Services Provision. Proceedings of CSUN’s Seventeenth Annual International Conference «Technology and Persons with Disabilities» (Los Angeles, 2002). California State University Northridge: Northridge. http://www.csun.edu/cod/conf/2002/proceedings/217.htm [Velasco et al.. 2003] Velasco C A, Mohamad Y, Gilman A S, Viorres N, Vlachogiannis E, Arnellos A, Darzentas J S (2003). Universal Access to Information Services - the Need for User Information and its Relationship to Device Profiles. Universal Access in the Information Society. [Velasquez 1997] Velásquez J.D (1997): Modeling Emotions and Other Motivations in Synthetic Agents. In: Proceedings of the Fourteenth National Conference on Artificial Intelligence and Ninth Innovative Applications of Artificial Intelligence Conference. Menlo Park. [Velasquez 1998] Velásquez J.D. (1998): A Computational Framework for Emotion-Based Control. Paper presented at the 5th International Conference of the Society for Adaptive Behavior, Zürich. http://www.ai.univie.ac.at /~paolo/conf/sab98/sab98ws.html. [Viterbi 1967] Viterbi A. J. (1967): Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. In: IEEE Transactions on Information Theory IT-13, S. 1260-1269. [von Sebastian et al. 2004] von Sebastian F., Kleinau, Kampf S.: Affective Interaction Emotionale Kommunikation zwischen Emotionale Kommunikation zwischen Emotionale Kommunikation zwischen,http://it.e-technik.uni-ulm.de/World/Research.DS/lectures/2004-ss-lecture benutzerschnittstellen /seminars/20040709-Kampf_Kleinau—Affective/Ausarbeitung.pdf [Vyzas & Picard 1999] Vyzas E., Picard R.W. (1999): Offline and Online Recognition of Emotion Expression from Physiological Data. MIT Media Lab Tech Report No 488. [Weiser 1991] Weiser M (1991). The Computer of the 21st Century. Scientific American, vol. 265. no. 3, Sept. 1991, pp 66-75. Available at: http://www.ubiq.com/weiser/ [Winograd 2001] Winograd T (2001). Interaction Spaces for 21st Century Computing. In: Carroll J (ed), HumanComputer Interaction in the New Millennium. Addison-Wesley. [Weiß 2004] Weiß H. (2004): Das Online-Familienhandbuch, Lernbehinderungen http://www.familienhandbuch.de/cmain/f_Aktuelles/a_Behinderung/s_586.html [Weizenbaum 1966] Weizenbaum J. (1966): ELIZA - A computer program for the study of natural language communication between man and machine. Communications of the ACM 9(1):36-45. [Williams 1996] Williams J., Sharp G., Lange B., Bates S., Griebel M., Spence G.T., Thomas P. (1996): The effects of Seizure Type, Level of Seizure Control, and Antiepileptic Drugs [Wright 1997] Wright I.P. (1997): Emotional Agents. PhD thesis, University of Birmingham. Erhältlich unter

http://www.cs.bham.ac.uk/~axs/cog_affect/COGAFF-PROJECT.html. [Wright & Sloman 1996] Wright, I.P. und Sloman, A. (1996). MINDER1: An Implementation of a Protoemotional Agent Architecture. http://www.cs.bham.ac.uk /~axs/cog_affect/COGAFF-PROJECT.html. [Wright et al. 1996] Wright I.P., Sloman A., Beaudoin L. (1996): Towards a Design-Based Analysis of Emotional Szenes. In: Philosophy Psychiatry and Psychology, vol 3 no 2. [Wright & Aubé 1997] Wright, I.P. und Aubé, M. (1997). The society of mind requires an economy of mind. Technical Report CSRP-97-6. 1997. http://www.cs.bham.ac.uk/~axs/cog_affect/COGAFF-PROJECT.html.

8 Literatur

153

[Zadeh 1965] Zadeh L.A.: Fuzzy Sets. Information and Control, 8, pp. 338-353, 1965. [Zajonc 1965] Zajonc, RB: Social Facilitation. In : Science, New Series (1965), Vol.149, Issue 3681, S. 269-274 [Zell 1994] Zell A.: Simulation Neuronaler Netze, Addison-Wesley, 1994. [Zimbardo 1995] Zimbardo, P. (1995): Psychologie. (6.Aufl.). Berlin: Springer. [Zhou & Conati 2003] Zhou X., Conati C. (2003). Inferring user goals from personality and behaviour in a causal model of user affect. In Proceedings of IUI 2003, Miami, Florida, USA, 211-218.

9 Links

154

9 Links [MIT Affective Group 2004] http://www.media.mit.edu/affect. http://affect.media.mit.edu/projects .php [IBM Emotion Research Groupe 2004] http://www.almaden.ibm.com/cs/blueeyes/psych.html [Cybertown] http://www.cybertown.com/ [Avatar Place] http://www.avatarpalace.de [MIT Media Laboratory Agent Groupe 2004] http://agents.media.mit.edu/index.html : [MIT Kismet Robot 2004] http://www.ai.mit.edu/projects/humanoid-robotics-group/kismet/kismet. html [Journal zur Sozionik]

http://www.informatik.uni-hamburg.de/TGI/ for-

schung/projekte/sozionik/journal/index.html [Sony Aibo Qrio 2004] http://www.sony.net/ProductsServices/Robots/ [Berlin Brain-Computer Interface 2004] Berlin Brain Computer Interface am Fraunhofer Institut FIRST: http://ida.first.fhg.de/bbci/ [OASIS] www.oasis-open.org [Sherer 1993] http://condor.depaul.edu/~elliott/papers/aaai94n/node13.html#scherer93 [André & Riest 2000] http://lieber.www.media.mit.edu/people/lieber/IUI/André/André.html. [Microsoft Research Agenten Gruppe] Microsoft Research (2001). Microsoft Agenten System. http://msdn.microsoft.com/msagent/agentdl.asp. [The Intelligent Software Agents Lab] Intelligent Software Agents an der Carnegie Mellon University [recommender Systems] GroupLens - Informationsfilterung und recommender systems an der Univ. Minnesota [Siemens Roboter und Gefühle 2004] http://w4.siemens.de/FuI/de/archiv/pof/heft2_02/artikel23/ [Ruebenstrunk 2001] http://www.ruebenstrunk.de/emeocomp/6.htm [Institut für Mensch-Maschine-Kommuinkation 2004] http://www.mmk.ei.tum.de/ layout.php?Browser=MS&Language=de&LangExt= &ContentBase=scitable&Special= [FIT Publikationen 2004], Institut für Angewandte Informationstechnik: http://www.fit.fraunhofer.de/publikationen/index.html [Sowa 2002] Sowa T.: http://www.techfak.uni-bielefeld.de/ags/wbski/lehre/digiSA/IIA/schapp.pdf [Gottschalk & Gleser 1999] http://rcswww.urz.tu-dresden.de/~berth/daw/bibliographie.html [MindMedia 2004] Mind Media Company, Nietherland, http://www.mindmedia.nl/ger/ [Seminar Hypride Mensch-Agenten-Systeme] Seminar Hypride Mensch-Agenten-Systeme http://ki.informatik.uni-wuerzburg.de/teach/ws-2002-2003/hci/Proceedings.pdf [Syskill & Webert] Syskill & Webert :Identifying interesting web sites, http://www.ics.uci.edu/~pazzani/Syskill.html [ Schlimmer&Hermens 1999] Jeffrey C. Schlimmer, Leonard A. Hermens Software Agents: Completing Patterns and Constructing User Interfaces 1999: http://www.cs.washington.edu/research/jair/volume1/schlimmer93a-html/schlimmer93-0.html [Software Engeneering 2004] http://www.software-kompetenz.de/?15851

10 Anhang I: Aufbau

155

10 Anhang I: Aufbau 10.1 Nutzerprofil und Start AM Anfang einer Trainingsitzung werden Daten für das Nutzernen Profil aufgenommen. Wichtig ist der Vorname, das Geschelcht, damit das Kind persönlich angesprochen werden kann. Der Schwierigkeitsstufe für die Einstellung der Anfangsschwierigkeitsstufe.

Abbildung 53: Start/Nutzerprofil Screen Mayer Susi W 11 E 331 1 3 4

Ausschnitt 1: die Struktur des Nutzerprofiles

156

10 Anhang I: Aufbau

10.2 Szene 1 Hier gibt der Agent Bonzi eine Einführung in das System. Diese Szene ist wichtig, damit das Vertrauen des Kindes gewonnen wird und ist für die Messung der Hautleitfähigkeit auch wichtig, da ein elementare Baseline in dieser zeit gebildet wird.

Abbildung 54: Szene 1 Screen

10.2.1 Struktur des Nutzerprofil 1.5 1 1.5 1.5 11111 1.5 1

Ausschnitt 2: Die Struktur der Siganlerfassungsdatei

10 Anhang I: Aufbau

157

10.2.2 Struktur des Emotionenprtokolls 000 00.00.0000 number0 START 0 0 0 0 0

Ausschnitt 3: Struktur der Logfiles für das Training

10.3 Szene 3 Die Agents zeigen dem Kind Objekte an einer Tafel und erklären dem Kind, dass es sie sortieren kann, und es soll sie auswendig lernen. Die Objekte kann das Kind an einem Touchscreen mit dem Finger bewegen und in Gruppen sortieren.

Abbildung 55: Szene 3 Screen

158

Abbildung 56: Szene 6 Screen

10 Anhang I: Aufbau

11 Anhang II – Logfile einer Trainingsitzung

159

11 Anhang II – Logfile einer Trainingsitzung Tabelle 18: Trainingsdaten N051290

30.1.2004 103753

Chapter1 Frame-1 sub_init

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 103853

Chapter1 Frame-1 sub 9

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 103858

Chapter2 Frame2-2

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104038

Chapter2 Frame2-2 sub1

Frage0 Antwort0 s

1

1

N051290

30.1.2004 104040

Chapter3 Frame 1

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104136

Chapter3 frame 1 sub3-1-2

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104226

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104230

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104240

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104245

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104250

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104252

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104256

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104257

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 10439

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104310

Chapter3 frame 1 dragunddrop

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104327

Chapter3 frame 1 confirm-sortiet

Frage0 Antwort0 Schwierigkeitsstufe

1

1

N051290

30.1.2004 104342

Chapter3 frame 1 confirm-sortiet

Frage0 Antwort0

SortiertGesamtgruppe

2

1

N051290

30.1.2004 104414

Chapter3 Frame3-2

Frage0 Antwort0 AnzahlObjekte

6

1

N051290

30.1.2004 104437

Chapter3 frame 3-2 Btn1Click

Frage0 Antwort0 AnzahlObjekte

6

1

Chapter3 frame 3-2 sub3-2

Frage0 Antwort0 KindObjekte

4

1

N051290 30.1.2004

11 Anhang II – Logfile einer Trainingsitzung

160

104437 N051290

30.1.2004 104439

Chapter3 Frame3-3

Frage0 Antwort0 KindObjekte

4

1

N051290

30.1.2004 104451

Chapter3 Frame3-3 Btn2Click

Frage0 Antwort0 Antwort

Maus

1

N051290

30.1.2004 10454

Chapter3 Frame3-3 Btn2Click

Frage0 Antwort0 Antwort

Suppe

1

N051290

30.1.2004 104529

Chapter3 Frame3-3 Btn2Click

Frage0 Antwort0 Antwort

Kekse

1

N051290

30.1.2004 104611

Chapter3 Frame3-3 Btn2Click

Frage0 Antwort0 Antwort

Käse

1

N051290

30.1.2004 104631

Chapter3 Frame3-3 Btn4Click

Frage0 Antwort0 Antwort

Käse

1

N051290

30.1.2004 10476

Chapter3 Frame3-3 Btn3Click

Frage0 Antwort0 Antwort

Käse

1

N051290

30.1.2004 104712

Chapter3 Frame3-4

Frage0 Antwort0 Anzahl

4

1

N051290

30.1.2004 104852

Chapter3 Frame3-4 next-kueche2 Frage0 Antwort0 Anzahl

4

2

N051290

30.1.2004 104856

Chapter3 Frame3-4 evaluation

2

2

1

2

2

N051290

30.1.2004 10499

Chapter3 Frame3-5

2

2

Schwierigkeitsstufe

2

2

N051290

30.1.2004 105446

Chapter3 Frame3-5

2

2

SortiertGesamtgruppe

9

2

N051290

30.1.2004 105513

Chapter3 Frame3-6

2

2

SortiertGesamtgruppe

9

2

N051290

30.1.2004 105541

Chapter3 Frame3-6 Btn1Click

2

2

Anzahlobjekte

5

2

N051290

30.1.2004 105543

Chapter3 Frame3-6 sub3-4

2

2

Anzahlobjekte

5

2

N051290

30.1.2004 105549

Chapter3 Frame3-7

2

2

Anzahlobjekte

5

2

N051290

30.1.2004 10567

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Grashüpfer

2

N051290

30.1.2004 105621

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

O-Saft

2

N051290

30.1.2004 105634

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Ameise

2

N051290

30.1.2004 105648

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Biene

2

N051290

30.1.2004 10577

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Schlange

2

N051290

30.1.2004 105728

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Schraubenzieher 2

11 Anhang II – Logfile einer Trainingsitzung

161

N051290

30.1.2004 105753

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Milch

2

N051290

30.1.2004 105831

Chapter3 Frame3-7 Btn2Click

2

2

Antwort

Säge

2

N051290

30.1.2004 105845

Chapter3 Frame3-7 Btn3Click

2

2

Antwort

Säge

2

N051290

30.1.2004 105851

Chapter3 Frame3-7-1

2

2

Antwort

Säge

2

N051290

30.1.2004 10599

Chapter3 Frame3-7-1 sub-motiv

2

2

Antwort

Säge

2

N051290

30.1.2004 105911

Chapter3 Frame3-7-1 sub-motiv

2

2

Antwort

Säge

2

N051290

30.1.2004 105912

Chapter3 Frame3-7-1 sub-motiv

2

2

Antwort

Säge

2

N051290

30.1.2004 105914

Chapter3 Frame3-7-1 sub-motiv

2

2

Antwort

Säge

2

N051290

30.1.2004 105915

Chapter3 Frame3-7-1 sub-motiv

2

2

Antwort

Säge

2

N051290

30.1.2004 105925

Chapter3 Frame3-7-1 nexkueche2

2

2

Antwort

Säge

2

N051290

30.1.2004 105930

Chapter3 Frame3-7-1 evaluation

2

2

2

2

2

N051290

30.1.2004 105944

Chapter3 Frame3-8

2

2

2

2

2

N051290

30.1.2004 105946

Chapter3 Frame3-8 sub-alles

2

2

2

2

2

N051290

30.1.2004 11123

Chapter3 Frame3-8 sub-k-hverstanden

2

2

2

2

2

N051290

30.1.2004 11238

Chapter3 Frame3-8 sub-korb

2

2

2

2

2

N051290

30.1.2004 11243

Chapter3 Frame3-8 sub-korb

2

2

2

2

2

N051290 30.1.2004 1143 Chapter3 Frame3-8 sub-korb

2

2

2

2

2

N051290

30.1.2004 11433

Chapter3 Frame3-8 sub-korb

2

2

2

2

2

N051290

30.1.2004 11514

Chapter3 Frame3-8 confirmsortiert

2

2

2

2

2

N051290

30.1.2004 11526

Chapter3 Frame3-8 confirmsortiert

2

2

SortiertGesamtgruppe

12

2

2

2

Anzahlobjekte

5

2

N051290 30.1.2004 1169 Chapter3 Frame3-9 Btn1Click N051290

30.1.2004 11615

Chapter3 Frame3-10

2

2

KindObjekte

5

2

N051290

30.1.2004 11728

Chapter3 Frame3-10 Btn2Click

2

2

Antwort

Tisch

2

11 Anhang II – Logfile einer Trainingsitzung

162

N051290

30.1.2004 11736

Chapter3 Frame3-10 Btn2Click

2

2

Antwort

Bett

2

N051290

30.1.2004 11746

Chapter3 Frame3-10 Btn2Click

2

2

Antwort

Karten

2

N051290

30.1.2004 11757

Chapter3 Frame3-10 Btn2Click

2

2

Antwort

Baukloetze

2

N051290

30.1.2004 11821

Chapter3 Frame3-10 Btn2Click

2

2

Antwort

Stuhl

2

N051290 30.1.2004 1199 Chapter3 Frame3-10 Btn2Click

2

2

Antwort

Fussball

2

N051290

30.1.2004 11947

Chapter3 Frame3-10 Btn4Click

2

2

Antwort

Fussball

2

N051290

30.1.2004 111015

Chapter3 Frame3-10 Btn3Click

2

2

Antwort

Fussball

2

12 Anhang III– Logfile Messung der Hautleitfähigkeit

163

12 Anhang III– Logfile Messung der Hautleitfähigkeit Bline

3MC 3M1

3M2

AR Datum

4.762499999999999

1

4.762499999999999

0

1

30.1.2004 103640

4.976999999999999

1

4.976999999999999

0

1

30.1.2004 103655

5.003499999999999

2

5.003499999999999

5.083

2

30.1.2004 103710

4.980599999999999

2

5.003499999999999

4.889

2

30.1.2004 103725

4.931333333333332

2

5.003499999999999

4.787

2

30.1.2004 103740

4.868571428571427

2

5.003499999999999

4.688666666666666

2

30.1.2004 103755

4.962999999999999

1

5.624

4.922499999999999

2

30.1.2004 103810

5.043666666666666

1

5.689

4.922499999999999

2

30.1.2004 103825

5.089799999999999

1

5.5969999999999995 4.922499999999999

2

30.1.2004 103840

5.158272727272728

1

5.678999999999999

4.922499999999999

2

30.1.2004 103855

5.208666666666667

2

5.699999999999999

5.763

2

30.1.2004 103910

5.234538461538461

2

5.699999999999999

5.545

2

30.1.2004 103925

5.278714285714285

2

5.699999999999999

5.699

2

30.1.2004 103940

5.3332

2

5.699999999999999

5.831333333333333

2

30.1.2004 103955

5.403874999999999

1

6.464

5.9895

2

30.1.2004 104010

5.456588235294117

1

6.3

5.9895

2

30.1.2004 104025

5.502888888888888

1

6.295

5.9895

2

30.1.2004 104040

5.545368421052632

1

6.3

5.9895

2

30.1.2004 104056

5.603949999999999

2

6.404249999999999

6.717

2

30.1.2004 104111

5.649857142857142

2

6.404249999999999

6.568

2

30.1.2004 104126

5.710818181818182

2

6.404249999999999

6.7795

2

30.1.2004 104141

5.758478260869565

2

6.404249999999999

6.788666666666667

2

30.1.2004 104156

5.799875

1

6.752

6.7795

2

30.1.2004 104211

5.853479999999999

1

7.14

6.7795

2

30.1.2004 104226

5.883846153846154

1

6.8915

6.7795

2

30.1.2004 104241

5.914703703703704

1

6.833333333333333

6.7795

2

30.1.2004 104256

5.947821428571429

2

6.8355

6.842

2

30.1.2004 104311

5.992517241379311

2

6.8355

7.244

2

30.1.2004 104327

6.028266666666667

2

6.8355

7.1545000000000005 2

30.1.2004 104342

6.058677419354839

2

6.8355

7.093333333333334

30.1.2004 104357

2

12 Anhang III– Logfile Messung der Hautleitfähigkeit

164

6.0891875

1

7.035

7.07875

2

30.1.2004 104412

6.113484848484848

1

6.891

7.07875

2

30.1.2004 104427

6.139588235294118

1

6.946

7.07875

2

30.1.2004 104442

6.160371428571429

1

6.919666666666667

7.07875

2

30.1.2004 104457

6.184

2

6.9425

7.011

2

30.1.2004 104512

6.214135135135135

2

6.9425

7.299

2

30.1.2004 104527

6.240842105263158

2

6.9425

7.264

2

30.1.2004 104542

6.265666666666667

2

6.9425

7.245666666666668

2

30.1.2004 104557

6.284050000000001

1

7.001

7.184500000000001

2

30.1.2004 104612

6.296804878048781

1

6.807

7.184500000000001

2

30.1.2004 104628

6.308119047619049

1

6.7895

7.184500000000001

2

30.1.2004 104643

6.321116279069769

1

6.815333333333334

7.184500000000001

2

30.1.2004 104658

6.32934090909091

2

6.78225

6.683

2

30.1.2004 104713

6.341066666666668

2

6.78225

6.857

2

30.1.2004 104728

6.349891304347828

2

6.78225

6.802

2

30.1.2004 104743

6.360787234042555

2

6.78225

6.822

2

30.1.2004 104758

6.369458333333335

1

6.777

6.8107500000000005 2

30.1.2004 104813

6.375142857142859

1

6.648

6.8107500000000005 2

30.1.2004 104829

6.378320000000002

1

6.590999999999999

6.8107500000000005 2

30.1.2004 104844

6.382823529411767

1

6.596666666666667

6.8107500000000005 2

30.1.2004 104859

6.390980769230771

2

6.64925

6.807

2

30.1.2004 104914

6.399962264150946

2

6.64925

6.867

2

30.1.2004 104929

6.4068518518518545 2

6.64925

6.8195

2

30.1.2004 104944

6.414036363636367

2

6.64925

6.813666666666666

2

30.1.2004 104959

6.419285714285718

1

6.708

6.78725

2

30.1.2004 105014

6.422508771929828

1

6.603

6.78725

2

30.1.2004 105029

6.427586206896555

1

6.66

6.78725

2

30.1.2004 105044

6.434101694915258

1

6.7106666666666674 6.78725

2

30.1.2004 105059

6.438000000000003

2

6.7

6.668

2

30.1.2004 105114

6.443393442622954

2

6.7

6.767

2

30.1.2004 105129

6.451016129032261

2

6.7

6.8415

2

30.1.2004 105144

6.460841269841273

2

6.7

6.917666666666666

2

30.1.2004 105159

6.472765625000003

1

7.224

6.99425

2

30.1.2004 105214

6.48249230769231

1

7.105

6.99425

2

30.1.2004 105230

12 Anhang III– Logfile Messung der Hautleitfähigkeit

165

6.491924242424246

1

7.105

6.99425

2

30.1.2004 105245

6.49240298507463

2

6.911333333333334

6.524

2

30.1.2004 10530

6.490897058823532

2

6.911333333333334

6.39

2

30.1.2004 105315

6.492811594202902

2

6.911333333333334

6.5065

2

30.1.2004 105330

6.492900000000003

2

6.911333333333334

6.5040000000000004 2

30.1.2004 105345

6.491239436619721

1

6.375

6.47175

2

30.1.2004 10540

6.497069444444447

1

6.911

6.47175

2

30.1.2004 105415

6.5023287671232905 1

6.896

6.47175

2

30.1.2004 105430

6.503148648648651

1

6.785

6.47175

2

30.1.2004 105445

6.505480000000002

2

6.75825

6.678

2

30.1.2004 10550

6.508526315789476

2

6.75825

6.737

2

30.1.2004 105515

6.51027272727273

2

6.75825

6.6899999999999995 2

30.1.2004 105530

6.51094871794872

2

6.75825

6.647666666666666

30.1.2004 105545

6.512873417721521

1

6.663

6.6514999999999995 2

30.1.2004 10561

6.515125000000002

1

6.693

6.6514999999999995 2

30.1.2004 105616

6.517617283950619

1

6.705

6.6514999999999995 2

30.1.2004 105631

6.519024390243905

1

6.681

6.6514999999999995 2

30.1.2004 105646

6.519795180722893

2

6.656499999999999

6.583

2

30.1.2004 10571

6.520488095238097

2

6.656499999999999

6.578

2

30.1.2004 105716

6.522635294117648

2

6.656499999999999

6.6405

2

30.1.2004 105731

6.524209302325582

2

6.656499999999999

6.646333333333334

2

30.1.2004 105746

6.525229885057473

1

6.613

6.638

2

30.1.2004 10582

6.5264545454545475 1

6.633

6.638

2

30.1.2004 105817

6.5264831460674175 1

6.5809999999999995 6.638

2

30.1.2004 105832

6.52606666666667

1

6.550333333333334

6.638

2

30.1.2004 105847

6.524945054945057

2

6.51875

6.424

2

30.1.2004 10592

6.524065217391306

2

6.51875

6.444

2

30.1.2004 105917

6.52256989247312

2

6.51875

6.4145

2

30.1.2004 105932

6.52094680851064

2

6.51875

6.3996666666666675 2

30.1.2004 105947

6.519094736842107

1

6.345

6.386

2

30.1.2004 1102

6.519093750000002

1

6.519

6.386

2

30.1.2004 11017

6.519494845360827

1

6.5385

6.386

2

30.1.2004 11032

6.517612244897961

1

6.470666666666666

6.386

2

30.1.2004 11047

6.516464646464649

2

6.454

6.404

2

30.1.2004 1112

2

12 Anhang III– Logfile Messung der Hautleitfähigkeit

166

6.516390000000002

2

6.454

6.509

2

30.1.2004 11117

6.516415841584161

2

6.454

6.514

2

30.1.2004 11132

6.518196078431375

2

6.454

6.575333333333333

2

30.1.2004 11147

6.518728155339808

1

6.573

6.57475

2

30.1.2004 1122

6.519019230769232

1

6.549

6.57475

2

30.1.2004 11218

6.523133333333336

1

6.75

6.57475

2

30.1.2004 11233

6.523235849056606

1

6.678

6.57475

2

30.1.2004 11248

6.523934579439254

2

6.6579999999999995 6.598

2

30.1.2004 1133

6.528074074074076

2

6.6579999999999995 6.971

2

30.1.2004 11318

6.527944954128442

2

6.6579999999999995 6.7425

2

30.1.2004 11333

6.527409090909093

2

6.6579999999999995 6.6513333333333335 2

30.1.2004 11348

6.526747747747749

1

6.454

6.602

2

30.1.2004 1143

6.525741071428572

1

6.414

6.602

2

30.1.2004 11418

6.523831858407081

1

6.362

6.602

2

30.1.2004 11433

6.526052631578948

1

6.500333333333334

6.602

2

30.1.2004 11448

6.527800000000001

2

6.557

6.727

2

30.1.2004 1153

6.526008620689657

2

6.557

6.32

2

30.1.2004 11518

6.531598290598292

2

6.557

6.75

2

30.1.2004 11533

6.532288135593221

2

6.557

6.7043333333333335 2

30.1.2004 11548

6.532176470588237

1

6.519

6.6579999999999995 2

30.1.2004 1163

6.531566666666667

1

6.459

6.6579999999999995 2

30.1.2004 11618

6.530355371900828

1

6.422

6.6579999999999995 2

30.1.2004 11633

6.528877049180329

1

6.398

6.6579999999999995 2

30.1.2004 11648

6.52758536585366

2

6.391

6.37

2

30.1.2004 1173

6.525951612903227

2

6.391

6.325

2

30.1.2004 11718

6.524304000000002

2

6.391

6.3225

2

30.1.2004 11733

6.52280158730159

2

6.391

6.326666666666667

2

30.1.2004 11748

6.521598425196853

1

6.37

6.3375

2

30.1.2004 1183

6.520796875000002

1

6.419

6.3375

2

30.1.2004 11818

6.520472868217056

1

6.449

6.3375

2

30.1.2004 11833

6.520723076923079

1

6.483666666666667

6.3375

2

30.1.2004 11848

6.5210076335877884 2

6.50225

6.558

2

30.1.2004 1193

6.5213257575757595 2

6.50225

6.563

2

30.1.2004 11918

6.522203007518799

6.50225

6.6005

2

30.1.2004 11933

2

12 Anhang III– Logfile Messung der Hautleitfähigkeit

167

6.523552238805972

2

6.50225

6.634666666666667

2

30.1.2004 11948

6.52594814814815

1

6.847

6.68775

2

30.1.2004 11104

6.527720588235296

1

6.767

6.68775

2

30.1.2004 111019

6.528963503649638

1

6.7325

6.68775

2

30.1.2004 111034

Tabelle 19: Messungsprotokoll

Lebenslauf

Name

: Mohamad

Vorname

: Yehya

Geburtsdatum

: 18.09.61

Geburtsort

: Nablus - Westjordanien

Staatsangehörigkeit

: Deutsch

1967 - 1973

: Besuch der Grundschule in Myslia - Westjordanien

1973 - 1976

: Besuch der Realschule in

1976 - 1979

: Besuch des Gymnasiums in Jenin

Kabatia - Westjordanien - Westjordanien

1980 - 1981 : Besuch eines Deutschsprachkursus in Saarbrücken 1981 - 1982 : Besuch des Studienkollegs in Darmstadt 1982 - 1987 : Studium der Informatik and der Technischen Universität Berlin

1987 - 1988 : Wissenschaftlicher Mitarbeiter an der Freien Universität Berlin 1988 - 1991 : Wissenschaftlicher Mitarbeiter am Institut ISL Bremen 1991 - 1993 : DV-Berater bei der Firma PTC Bremen 1993 - 1998 : DV-Fachmann bei der BLG (BLG DATA SERVICES) in Bremen 1998 - 2001: Wissenschaftlicher Mitarbeiter an den

medizinischen Einrichtungen der

Universität Bonn Seit 01.04.2001 : Wissenschaftlicher Mitarbeiter am Fraunhofer Institut für Angewandte Informationstechnik (FIT.LIFE)