Ausgangssituation Empirische Untersuchung Aufstellen einer Untersuchungshypothese Experiment Analyse der Experimentdaten Test der Untersuchungshypothese
MOTIVATION
Ziel MODELL & KOGNITION
Erklärungsansatz für experimentelle Beobachtungen Entwicklung eines (mehr oder weniger) formalen Modells
VISUELLE SUCHE
Beschreibung des Zusammenhangs von abhänigen und unabhängigen Variablen
GUIDED-SEARCH THEORIE
1
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Beispiel
Newtonsche Gravitationstheorie Aufstellen einer Untersuchungshypothese Experiment Analyse der Experimentdaten Test der Untersuchungshypothese
MOTIVATION
Gravitationsgesetz MODELL & KOGNITION
VISUELLE SUCHE
Formalisierung Newtons Gravitationsmodells Berechnungsvorschrift für Gravitationskraft zwischen zwei Objekten bekannter Masse und Abstand
F=γ
m1m2 r2
Keine Erklärung der Ursache von Gravitation
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
Beispiel
Problem Berechung der Trajektorien von mehr als zwei Objekten unmöglich
Lösungsansatz Numerische Approximation
MOTIVATION
Iterative Berechung von Systemzuständen Diskretisierung der Zeit notwendig:
MODELL & KOGNITION
• Kleine Diskretisierungsschritte: Hohe Präzision, aber rechenaufwändig • Große Diskretisierungsschritte: Rechenaufwand akzeptabel, aber geringe Präzision
VISUELLE SUCHE
Simulation komplexer Systeme erst in jüngerer Vergangenheit möglich Aber: Viele Systeme sind störanfällig, langfristige Vorhersagen kritisch
GUIDED-SEARCH THEORIE
2
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Was können wir aus Computersimlationen lernen?
•
Vergleich der Ergebnisse von Computersimulationen mit empirischen Daten gibt Aufschluss über die Adäquatheit der Simulation
•
Unstimmigkeiten deuten auf Unzulänglichkeiten hin • Nicht alle Eigenschaften des Systems wurden berücksichtigt Das Modell ist unvollständig oder (teilweise) falsch
MOTIVATION
•
Lösung: Suche nach Modelloptimierungen durch weitere Experimente und erneuten Abgleich von empirischen mit modellgenerierten Daten
MODELL & KOGNITION
VISUELLE SUCHE
Besseres Verständnis komplexer Prozesse durch Computersimulationen
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
GUIDED-SEARCH THEORIE
3
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Ziel
Verständnis und Modellierung mentaler Prozesse
Verständnis der Informationsverarbeitung im Gehirn
Neuronale Ebene
Funktionale Ebene
MOTIVATION
MODELL & KOGNITION
Kommunikation zwischen Neuronen und neuronale Informationsverarbeitung und „Lernen“
Funktionale Struktur des Gehirns, regionale Aufgabenspezialisierung
VISUELLE SUCHE
Neuronale Modelle
Phänomenologische Modelle
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
Neuronale Modelle
•
Biologisch motiviert
•
Simulation von (wenigen) Neuronen und ihrer Verbindungen Künstliche Neuronale Netze Neuron Mathematische Rechenvorschrift Eingaben: Ausgaben anderer Neuronen
MOTIVATION
MODELL & KOGNITION
Ausgaben: Ergebnis der Berechnung wird an andere Neuronen weitergegeben Verbindungen Lernen und Adaptation durch Anpassen der Gewichtungen der Verbindungen Unterschiedliche Netzwerk-Architekturen
VISUELLE SUCHE
Verschiedene Lernalgorithmen
GUIDED-SEARCH THEORIE
4
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Phänomenologische Modelle
•
Keine Imitation physiologischer (neuronaler) Prozesse
•
Statt dessen Reproduktion perzeptiver und kognitiver „high-level“ Funktionen
• Virtuelle, zufällige Augenbewegungen basierend auf • statistischer Verteilung der empirischen Blickbewegungsparameter • lokalen Stimuluscharakteristika
• Beispiel: Modellierung Sakkadenlänge MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
GUIDED-SEARCH THEORIE
7
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Random Walk
Verfahren • Statistische Reproduktion der empirischen Verteilung der Sakkadenlängen • Zufällige Auswahl der Sakkadenlänge in Abhängigkeit der lokalen Objektdichte an einer Blickposition
MOTIVATION
MODELL & KOGNITION
• Berücksichtigung der empirischen Häufigkeitsverteilung als Zufallsverteilung Random Walk erzeugt mit zunehmender Objektdichte kürzere Sakkaden
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
MOTIVATION
MODELL & KOGNITION
Random Walk
Verteilungen und Modellparameter • Sakkadenlänge
lokale Objektdichte am Startpunkt einer Sakkade
• Sakkadenlänge
lokale Objektdichte in der Mitte einer Sakkade
• Fixationsdauer
lokale Objektdichte an Fixationspunkten
• Anzahl aufeinander folgender Fixationen innerhalb einer Bildhälfte lokale Objektdichte des jeweils ersten Fixationspunktes • Absoluter Winkel aller Sakkaden innerhalb einer Bildhälfte
VISUELLE SUCHE
• Winkel aufeinander folgender Sakkaden innerhalb der gleichen Bildhälfte
GUIDED-SEARCH THEORIE
8
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Random Walk
Vereinfachungen • Modellgenerierte Fixationspunkte werden zu Objektpositionen “gerundet” • Startpunkt wird zufällig auf einem Objekt gewählt
MOTIVATION
• Bei Wechsel der Bildhälfte werden korrespondierende Objekte fixiert • Ende bei Finden des Unterschieds
MODELL & KOGNITION
• Zufällige Anzahl von Verifikationssakkaden (2-4)
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
MOTIVATION
MODELL & KOGNITION
Random Walk
Ergebnisse • Adäquate Modellierung von low-level Faktoren der Blickpfade (FD,SL)
• Unzureichende Modellierung von RT • Prozesse kognitiv höherer Ebenen unberücksichtigt, insbesondere globale Verarbeitungsstrategien
Empirie
Modell
VISUELLE SUCHE
GUIDED-SEARCH THEORIE
9
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Globale Ebene
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
Modellierung globaler Suchstrategien
Greedy • Springe als nächstes jeweils zu dem Objekt, das dem aktuell fixierten geometrisch am nächsten liegt TSP • Berechne den Suchpfad so, dass die Gesamtstrecke zwischen Startund Endpunkt minimiert wird
MOTIVATION
Clustering MODELL & KOGNITION
VISUELLE SUCHE
• Minimiere die Distanzen innerhalb eines Clusters und maximiere die Distanzen zwischen Clustern
Kohonen • Berechne den Suchpfad iterativ • Gewichtsvektoren einer “Neuronenkette” repräsentieren die Suchpfadpositionen • Ein Adaptationsverfahren optimiert dabei die Nachbarschaftsverhältnisse der Stationen entlang des Pfads • Die Objektpositionen übernehmen die Rolle von Trainingsbeispielen
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
• Wähle einen zufälligen Eingabevektor des Merkmalraums • Bestime ein Neuron j mit v − w j ≤ v − wi , ∀i ≠ j , d.h. das Neuron mit der besten Repräsentation von v (“winner”) • Verändere alle Gewichtsvektoren in Richtung des Eingabevektors j mit der adaptiven Schrittweite hij. ε ist ein zusätzlicher Parameter für die globale Schrittweite: w new = w old + ε ⋅ h ⋅ (v − w ), ε ∈ [0,1] i
i
ij
i
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
Modellierung globaler Suchstrategien
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
GUIDED-SEARCH THEORIE
11
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Drei-Ebenen-Modell
Globale Ebene • Variante des TSP. Suchpfad mit minimaler Gesamtstrecke, jedoch unter bevorzugtem Besuch farbgleicher Objekte nacheinander. • Startpunkt: Objekt oben links • Ziel: Optimierung des Gesamt-Verarbeitungsaufwands
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
MOTIVATION
MODELL & KOGNITION
Drei-Ebenen-Modell
Attentive Ebene • Unterteilung der Objektmenge in räumliche Cluster • Memorierung von Farbe und Form der Objekte im betreffenden Cluster • Aufmerksamkeitsverlagerung auf das entsprechende Cluster in der anderen Bildhälfte • Vergleich: Unterschied gefunden Abarbeitung der folgenden Cluster
Verifikation, sonst
• Aufmerksamkeitsverlagerung durch Kapazität des Arbeitsgedächtnisses und spezifische Charakteristika von Stimuli bestimmt • Ziel: Optimierung der Gedächtnisbelastung
VISUELLE SUCHE
GUIDED-SEARCH THEORIE
12
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Drei-Ebenen-Modell
Okulomotorische Ebene • Programmierung und Ausführung konkreter Sakkaden unter Berücksichtigung von Ungenauigkeiten von Fixationspunkten („saccadic noise“)
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDED-SEARCH THEORIE
AG Neuroinformatik
MOTIVATION
Drei-Ebenen-Modell
Globale Ebene
Attentive Ebene
MODELL & KOGNITION
VISUELLE SUCHE
Okulomotorische Ebene
GUIDED-SEARCH THEORIE
13
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
MOTIVATION
MODELL & KOGNITION
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDEDGUIDED-SEARCH THEORIE
AG Neuroinformatik
Experimentelle Methode
Stimuli
Aufgabe
Finde die 5! MOTIVATION
oder MODELL & KOGNITION
Finde die grüne 5!
VISUELLE SUCHE
GUIDEDGUIDED-SEARCH THEORIE
14
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Ursache-Wirkung Hypothese
Ursache Farbinformation Vorwissen Keine Farbinformation
Erwartungen - Ergebnisse Suchzeit RT mit Farbinfomation geringer als ohne Anzahl Fixationen NF mit Farbinfomation geringer als ohne Sakkadenlänge SL mit Farbinfomation kürzer als ohne
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDEDGUIDED-SEARCH THEORIE
AG Neuroinformatik
Beispiel-Trajektorien
Finde die rote 5! MOTIVATION
MODELL & KOGNITION
Finde die grüne 9!
VISUELLE SUCHE
GUIDEDGUIDED-SEARCH THEORIE
15
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Beispiel-Trajektorien
Finde die 9! MOTIVATION
MODELL & KOGNITION
Finde die 8!
VISUELLE SUCHE
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDEDGUIDED-SEARCH THEORIE
AG Neuroinformatik
Modellansatz
Was soll modelliert werden?
Mit Farbinformation
RT, NF und SL Blicktrajektorien
MOTIVATION
Realisation & Implementation Ohne Farbinformation
MODELL & KOGNITION
Vorschlag: Nearest-neighbour Algorithmus
VISUELLE SUCHE
Parameter: Berücksichtigung der unabhängigen Variable „Farbinformation“
GUIDEDGUIDED-SEARCH THEORIE
16
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Nearest-neighbour Modell
Start beliebiges Startobjekt
ja
Farbinfomation?
nein
MOTIVATION
geometrisch nächstes Objekt in Zielfarbe
geometrisch nächstes Objekt
MODELL & KOGNITION
Zielobjekt gefunden? VISUELLE SUCHE
nein
nein ja Ende
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDEDGUIDED-SEARCH THEORIE
AG Neuroinformatik
Modell-Pfade
Finde 8! MOTIVATION
MODELL & KOGNITION
Finde die grüne 9!
VISUELLE SUCHE
GUIDEDGUIDED-SEARCH THEORIE
17
Visuelle Aufmerksamkeit und Blickbewegungen
AG Neuroinformatik
Nearest-neighbour Modell
Optimierung
Zeilen- oder spaltenweise Suche Suchrichtung von rechts oder links bzw. von oben oder unten
MOTIVATION
Bevorzugt Sakkaden in Richtung von Regionen geringer Farbentropie
MODELL & KOGNITION
Zufällige Sakkaden in Richtung unbesuchter Regionen, falls keine gleichfarbigen benachbarten Objekte Z.B. dynamische Anpassung der Grösse der Nachbarschaftsregion
VISUELLE SUCHE
Histogramme für Sakkadenlängen und -winkel Modellierung der Häufigkeitsverteilungen
Visuelle Aufmerksamkeit und Blickbewegungen
GUIDEDGUIDED-SEARCH THEORIE
AG Neuroinformatik
Nearest-neighbour Modell
Optimierung (Fortsetzung)
„Rauschen“ von Fixationspunkten („saccadic noise“) Gedächtnis: Merken (und „vergessen“) bereits besuchter Objekte Fixationsdauer:
MOTIVATION
MODELL & KOGNITION
Abhängig von Sakkadenlänge und -winkel Abhängig von geometrischer Ähnlichkeit zum Ziel
