2007 Teil A: Quantitative Methoden Themen am :

Empirie-Vorlesung im Wintersemester 2006/2007 Teil A: Quantitative Methoden Themen am 21.11.2006: • Messen (Fortsetzung vom 14.11.) • Axiomatische Mes...
Author: Sabine Beyer
24 downloads 3 Views 64KB Size
Empirie-Vorlesung im Wintersemester 2006/2007 Teil A: Quantitative Methoden Themen am 21.11.2006: • Messen (Fortsetzung vom 14.11.) • Axiomatische Messtheorie: Bestimmung des Messniveaus • Psychologische Teststheorie: Objektivität, Reliabilität und Validität von Messungen • Befragungen: Theoretische Ansätze des Befragungsverhaltens

Lernziele: 1. 2. 3. 4. 5. 6.

Beurteilung von Messniveaus Wissen über die Kriterien zur Qualität von Messungen Kenntnis über unterschiedliche Ansätze zur Erklärung des Befragtenverhaltens Schritte der Respondenten beim Finden einer Antwort in standardisierten Befragungen Bedeutung des Kontextes bei Befragungen Kenntnis der Hinweise für die Formulierung geeigneter Fragen

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

1

Wiederholung von letzter Woche Begriffsexplikation • Bedeutung eines Begriffs: Extension u. Intension; Ziel: eindeutige und präzise Begriffe. • Nominaldefinition: Konvention, nach der Definiendum u. Definiens identische Bedeutung haben; → Nominaldefinitionen können nicht falsch, aber inadäquat sein. Anforderungen an Nominaldefinition: (1) Eliminierbarkeit, (2) Nichtkreativität (3) NichtZirkularität, (4) keine Mehrfachdefinitionen. • Realdefinitionen; Begriffsessentialismus vs. Begriffskonventionalismus Operationalisierung • Formulierung von Regeln, mit deren Hilfe entschieden wird, ob bzw. in welchem Ausmaß der durch einen Begriff bezeichnete Sachverhalt vorliegt. → Operationalisierung: Verknüpfung von Begriffen mit empirischen Sachverhalten. • ideale Vorgehensweise: erst Forschungsfrage formulieren, dann Explikation der Begriffe (Definitionen), dann Formulierung von Messtheorien mit Korrspondenzhypothesen, dann Ableitung von Korrspondenzregeln. Variablen • Merkmal einer Untersuchungseinheit (eines Merkmalsträger); • Ausprägungen von Variablen müssen disjunkt und erschöpfend sein; • Latente Variablen (Faktoren) und deren Indikatoren. Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

2

Wiederholung von letzter Woche Beobachten und Messen • Messen im weiteren Sinne: Anwendung der Korrspondenzregeln in der Datenerhebung; • Messen im engeren Sinne: Dokumentation der Beobachtung über Zuordnung der Ausprägungen der beobachteten Merkmale zu Zahlen; • Axiomatische Messtheorie: Messen als homomorphe (strukturtreue) Abbildung eines empirischen Relativs in ein numerisches Relativ; • Hierarchie von Mess- oder Skalenniveaus: Nominalskalenniveau: Klassifikation in gleiche bzw. verschiedne Ausprägungen eines Merkmals, Ordinalskalenniveau: Rangordnung in mehr oder weniger einer Eigenschaft; Intervallskala: Beurteilung des Abstandes von Ausprägungen sinnvoll, Ratioskala: Verhältnissbildung von Messwerten sinnvoll; • Zulässige Transformationen: Veränderung der Messwerte, so dass alle empirischen Informationen erhalten bleiben; alle ein-eindeutigen Trasformationen auf Nominalskalenniveau, alle streng monton steigenden Funktionen auf Ordinalskalenniveau alle linearen Funktionen auf Intervallskalenniveau alle Streckungen und Stauchungen auf Ratioskalenniveau

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

3

Bestimmung des Messniveaus Die axiomatische Messtheorie nennt als Voraussetzungen Repräsentation, Eindeutigkeit und Bedeutsamkeit, die zur Erreichung eines bestimmten Messniveaus nachgewiesen werden müssen: (1) Repräsentationstheoreme geben für jedes Skalenniveau Präzisierungen an, um Repräsentation nachzuweisen. Beispiel bei einer Ordinalskala: Transitivitätsbedingung muss erfüllt sein. Wenn bei drei Beobachtungen A, B und C gilt: (a) bei Beobachtung B liegt eine höheres Ausmaß der zu messenden Eigenschaft vor als bei Beobachtung A, (b) bei Beobachtung C liegt eine höheres Ausmaß der zu messenden Eigenschaft vor als bei Beobachtung B, dann muss auch gelten: (c) bei Beobachtung C liegt eine höheres Ausmaß der zu messenden Eigenschaft vor als bei Beobachtung A. Gilt die Transitivitätsbedingung nicht, kann nicht auf Ordinalskalenniveau gemessen werden.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

4

Bestimmung des Messniveaus (2) Eindeutigkeitstheoreme geben die Bedingungen an, unter denen zulässige Transformationen im numerischen Relativ möglich sind. (3) Bedeutsamkeitstheoreme beziehen sich auf die statistischen Verfahren, die unter einem Skalenniveau zulässig sind. Repräsentation bezieht sich also auf den Informationsgehalt im empirischen Relativ, Eindeutigkeit auf die zulässigen Transformationen innerhalb des numerischen Relativs und Bedeutsamkeit auf die Gültigkeit statistischer Modelle innerhalb eines Messniveaus. Nach der axiomatischen Messtheorie muss für jede empirische Messskala das Vorliegen der drei Bedingungen nachgewiesen sein. In der Praxis erfolgt oft eine Festlegung des Skalenniveaus nach Augenschein („measurement per fiat“).

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

5

Bestimmung des Messniveaus Bei der Unterstellung eines Messniveaus sind drei Aspekte zu beachten: 1. Beim Messniveau sind empirische wie theoretische Gegebenheiten relevant. Daher kann auch das Messniveau einer Größe nicht ‚theorielos‘ (d.h. ohne theoretische Annahmen) ermittelt werden. Beispiel: „Haarfarbe“ ist in der Soziologie der Mode eine nominalskalierte Größe. In der Physik ist Farbe dagegen eine auf Ratioskalenniveau gemessene Frequenz von Lichtwellen. 2. Eine zu prüfende empirische Theorie kann ein bestimmtes Messniveau für die beteiligten Konzepte voraussetzen. Ist dieses nicht gegeben, ist die Theorie nicht oder nur eingeschränkt prüfbar. Beispiel: Die „Nutzentheorie“ behauptet, dass sich der Nettonutzen einer Alternative aus der Produktsumme der Bewertungen der mit der Alternative verbundenen Konsequenzen und den Auftretenswahrscheinlichkeiten dieser Konsequenzten ergibt. Sind die Bewertungen und die Auftretenswahrscheinlichkeiten nicht auf metrischem Messniveau erfassbar, kann diese Behauptung nicht geprüft werden.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

6

Bestimmung des Messniveaus 3. Das Messniveau der beobachteten Größen (Indikator) kann sich vom Messniveau der eigentlich interessierenden theoretischen Eigenschaft (latente Variable) unterscheiden und z..B. ein höheres Messniveau haben. Beispiel: Alter dürfte in der Regel auf Ratioskalenniveau messbar sein. Wird „Alter“ aber in einer Studie im Sinne der theoretischen Konzeption des „Lebenszyklus“ verwendet, handelt es sich möglicherweise nur um eine nominale Messung. Letztlich kommt es bei der Festlegung des Messniveaus und der Messkala (Kodierung) darauf an, ob die verwendeteten Zahlen und die eingesetzten Analysemodelle inhaltlich interpretierbar sind.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

7

Klassische Testtheorie In der klassischen psychologischen Testtheorie wird eine Messung als Summe aus einem wahren Wert (true score) und einem Messfehler aufgefasst. Wird weiter zwischen systematischen und zufälligen Messfehlern unterschieden, ergibt sich folgende Beziehung: Messwert

=

wahrer Wert

+

systematischer Fehler

+

zufälliger Fehler

valideKomponente unreliable Komponente

reliable Komponente invalide Komponente

Eine Messung ist danach valide, wenn es weder systematische noch zufällige Messfehler gibt, eine Messung ist reliabel, wenn es nur sytematische, aber keine zufälligen Messfehler gibt, eine Messung ist nicht reliabel (und auch nicht valide), wenn es zufällige Messfehler gibt.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

8

Gütekriterien von Messungen: Objektivität, Reliabilität und Validität von Messungen Ziel der Datenerhebung ist es, möglichst gute Messungen zu erreichen. Kriterien hierfür sind: • Objektivität:Die Anwendung des Messinstruments durch unterschiedliche Forscher (Versuchsleiter) führt beim gleichen Objekt zum gleichen Ergebnis • Reliabilität: Eine Messung ist reliabel (zuverlässig), wenn verschiedene Messungen einer Eigenschaft beim gleichen Objekt mit dem gleichen Messinstrument zum gleichen Ergebnis führen, solange sich die Eigenschaft zwischen den Messungen nicht verändert hat. • Validität: Eine Messung ist valide (gültig), wenn sie tatsächlich das misst, was sie messen soll. Nach diesen Definitionen ist Validität das wichtigste Kriterium. Reliabilität ist eine notwendige, aber nicht hinreichende Voraussetzung für Validität, da es möglich ist, eine reliable Messung zu erhalten, die aber etwas anderes misst, als angestrebt wird. So ist die Schuhgröße ein recht reliables Maß, für die Messung von Intelligenz dürfte die Schuhgröße aber eine sehr invalide Messung sein. Objektivität kann schließlich als ein Spezialfall der Reliabilität aufgefasst werden, nämlich der sog. Intercoder-Reliabilität. Valide Messungen sind Voraussetzungen für valide Untersuchungsergebnisse. Insofern besteht eine Beziehung zwischen den Gütekriterien von Messungen und von Untersuchungsdesigns. Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

9

Befragungen 1. Theoretische Ansätze zur Erklärung des Befragtenverhaltens Von allen Erhebungsmethoden werden in der quantitativen Sozialforschung Befragungen am häufigsten eingesetzt. Befragungen können im Kontext des allgemeinen Modells sozialer Kommunikation gesehen werden: Sender

Codierung

Signal

Decodierung

Empfänger

Medium Zeichenvorrat Interesse Sozialisation

Zeichenvorrat Interesse Sozialisation gemeinsame Ressourcen

Forscher

Bezugsrahmen Forscher

Frage u. Antwort

Bezugsrahmen Befragter

Befragter

(nach Friedrichs, 1980, S. 193 u. 315) Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

10

Befragung als indirekte Kommunikation Die Befragungssituation ist allerdings in der Regel eine indirekte Kommunikation zwischen Forscher und kommunikationsfähigen Untersuchungseinheiten Kommunikationsprozess 1: Sender: Forscher Empfänger: Interviewer

entwickelt Fragebogen interpretiert Fragebogen

Kommunikationsprozess 2: Interaktion zwischen Interviewern und Befragten Sender: Interviewer stellt Fragen Empfänger: Befragter interpretiert Fragen Sender: Befragter gibt Antworten Empfänger: Interviewer interpretiert Antworten Kommunikationsprozess 3: Sender: Interviewer Empfänger: Forscher

notiert Antworten interpretiert Aufzeichnungen

Als Folge der indirekten Kommunikation ist mit besonderen Verständnis- und Interpretationsproblemen zu rechnen.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

11

Befragtenverhalten als Nutzenmaximierung Das Befragtenverhalten wird oft auch aus der Perspektive des Rational-ChoiceAnsatzes betrachtet: • Welchen Nutzen hat die Teilnahme an einer Befragung für den Befragten? • Welche Antwort ist aus der Sicht des Befragten am „nützlichsten“? Befragungssituation aus der Sicht des Befragten ist Gespräch mit einem Fremden: • der Interviewer ist für den Befragten in der Regel eine fremde Person, • das Interview ist für den Befragten i.a. eine ungewohnte/ungewöhnliche Situation, • asymmetrische Kommunikation: der Interviewer stellt Fragen, der Befragte antwortet, • die Interaktion ist für den Befragten folgenlos hinsichtlich seiner individuellen Lebenssituation Vermutete Konsequenz: → Befragte übertragen ihre Erfahrungen aus als ähnlich empfundenen Situationen auf die ungewohnte Befragungssituation. Mögliche Vergleichssituationen sind - Diskussion mit Freunden, - „Small Talk“ mit Unbekannten bei einer Party, - Vertreterbesuch, - Prüfung, - Verhör. Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

12

Befragtenverhalten als Nutzenmaximierung Auswirkung für die Untersuchungsergebnisse: • unterschiedliche Teilnahmebereitschaft in Abhängigkeit von Sicht der Situation • Berücksichtigung der vermuteten Einstellungen von Interviewer u. Forscher bei Antworten, • Interpretation des Forschungsziels aus den Fragen und Versuch, „richtige“ Antworten im Sinne eines unterstellten Forschungsziels zu geben, • generelle Beantwortungstendenzen (z.B. Ja-sage-Tendenz).

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

13

Antwortverhalten aus kognitionspsychologischer Perspektive Danach stellen sich für eine befragte Person folgende Aufgaben bei der Beantwortung der Frage eines Interviewers: (1) Verständnis der Frage semantisches Verständnis: pragmatisches Verständnis

Welche Bedeutung hat die Frage? Was will der Interviewer tatsächlich wissen?

(2) Abruf von Informationen:

Welche Informationen werden zum Beantworten benötigt und wie werden diese Informationen gewonnen?

(3) Urteilsbildung:

Wie gelangt der Befragte zu einer ihm angemessen erscheinenden Antwort

(4) Formatierung:

Welche der Antwortvorgaben trifft die Antwort am besten?

(5) Editierung:

Gibt es soziale Erwartungen, die bei der Antwort berücksichtigt werden müssen?

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

14

Antwortverhalten aus kognitionspsychologischer Perspektive (1) Fragen verstehen: Deckt sich das Verständnis der Frage durch den Befragten mit der Intention des Forschers? a. Semantisches Verständnis: Was bedeutet ein Satz? Probleme bei unbekannten/mehrdeutigen Begriffen u. schwierigem/komplexem Satzbau: • Bei mehrdeutigen Begriffen wird Kontextinformation genutzt. So muss z.B. aus dem Kontext erschlossen werden, ob das Wort „Bank“ eine Sitzmöglichkeit oder eine Institution in der Geschäftswelt meint • Dies kann automatisch/unbewusst oder bewusst erfolgen. • Verschiedene Begriffe setzen unterschiedliche „Perspektiven“ und Konnotate, die unterschiedliche Aspekte betonen. Beispiel gegensätzliche Konnotate bei Fragen zu Schwangerschaftsabbrüchen: „Entscheidungsfreiheit der Mutter“ vs. „Tötung von Ungeborenen“.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

15

Antwortverhalten aus kognitionspsychologischer Perspektive (1) Fragen verstehen: Deckt sich das Verständnis der Frage durch den Befragten mit der Intention des Forschers? a. Semantisches Verständnis: Was bedeutet ein Satz? • Komplexe Sätze werden bei der Interpretation oft vereinfacht, z.B. durch Auslassen oder Ignorieren von Nebensätzen oder Negationen. Beispiel: Bei der Frage „Sind Sie dafür, dass auch therapierbare Sexualstraftäter lebenslänglich hinter Gitter sollen?“ wird die Einschränkung „therapierbar“ möglicherweise überhört. • Es kann gruppenspezifische Verständnisse/Kontexte geben. Beispiel unterschiedliche Einschätzung von Tätigkeiten in einer US-Umfrage: Gruppe sieht „Blut spenden“ „Rasen mähen“ „Baby-Sitting“ als Arbeit an: - Studenten 70 % 100 % 100 % - Berufstätige 20 % 70% 70% Semantische Probleme einer Frageformulierung können oftmals in Voruntersuchungen (Pretests) entdeckt werden. Wenn eine aus der Sicht des Forschers falsche Bedeutung für die Befragten jedoch „offensichtlich“ ist, können semantische Probleme trotz Pretest unentdeckt bleiben. Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

16

Antwortverhalten aus kognitionspsychologischer Perspektive (1) Fragen verstehen: Deckt sich das Verständnis der Frage durch den Befragten mit der Intention des Forschers? b. Pragmatisches Verständnis: Was will der Frager wissen? Um pragmatische Bedeutung zu erschließen, greifen Personen auf implizite Regeln der Alltagskonversation zurück: „Speakers should try to be informative, truthful, relevant, and clear, and listeners interpret the speakers utterances on the assumptions that they are trying to live up these ideal.“ (Clark/Clark, 1977: Psychology of Language) Nach H.P. Grice (1975) gibt es folgende „Maxime der Konversationslogik“: • Gebe die Information, die Empfänger benötigt, aber nicht mehr (Maxime der Quantität), • Sage nichts, was Du für falsch hältst, oder wofür die nötige Evidenz fehlt (Maxime der Qualität), • Sorge dafür, dass Dein Beitrag für das Ziel der Konversation relevant ist (Maxime der Relevanz), • Sei klar, vermeide Mehrdeutigkeiten, Umständlichkeiten und Desorganisiertheit in Äußerungen (Maxime des Stils).

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

17

Antwortverhalten aus kognitionspsychologischer Perspektive (1) Fragen verstehen: Deckt sich das Verständnis der Frage durch den Befragten mit der Intention des Forschers? b. Pragmatisches Verständnis: Was will der Frager wissen? Implikationen für die Interaktion zwischen Interviewer und Befragten: • Implizite Relevanzgarantie: Interviewer machen keine „unsinnigen“ Äußerungen, Befragte wollen herausfinden, was Interviewer meint; • die Antworten des Befragten werden auf das vermutete Informationsbedürfnis des Interviewers zugeschnitten. Konsequenzen: • Befragte nutzen systematisch Kontextinformationen; • Schlussfolgerungen über wechselseitige Annahmen über das geteilte Wissen: - die Antwortvorgaben des Interviewers dienen der pragmatischen Interpretation der Frage, - bei Antworten wird nicht berichtet, „was keiner Erwähnung bedarf“, - bei Antworten wird nicht berichtet, was sich aus vorangegangenen Antworten ergibt.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

18

Antwortverhalten aus kognitionspsychologischer Perspektive (2) Der Abruf von Informationen In der Regel ist es nicht so, dass der Befragte die Antwort „weiß“ und sie aus dem Gedächtnis abruft. Stattdessen: • Suche nach relevanter Information, um angemessene Antwort zu generieren, • Abbruch des Suchprozesses, sobald „genug“ Informationen vorliegen, um Urteil zu bilden, • Urteil beruht primär auf den Informationen, die am leichtesten in den Sinn kommen, • Entscheidende Determinante hierfür ist die Zeit, die seit der letzten Nutzung vergangen ist.

(3) Urteilsbildung Befragte bilden auf der Basis der erinnerten Informationen und nach psychologischen Schlussregeln • ein Urteil zum Thema • bzw. rekonstruieren bei Verhaltensfragen, was ihr Verhalten wohl gewesen sein müsste

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

19

Antwortverhalten aus kognitionspsychologischer Perspektive (4) Formatierung Bei Fragen mit Antwortvorgaben müssen Befragte ihr Urteil in Antwortformat einpassen: - bei kategorialen Fragen wird aus den Antwortvorgaben das vermutete Interesse des Forschers erschlossen; Angaben außerhalb der Vorgaben erscheinen dann als „irrelevant“ und daher nicht erwähnenswert; - bei Antwortskalen (z.B: „sehr unzufrieden“ bis „sehr zufrieden“) müssen Befragte entscheiden, wie die Skala zu verankern ist. Da Antwortvorgaben auch Frageverständnis beeinflussen, sind Formatierungsprobleme und Verständnisprobleme oft schwer trennbar.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

20

Antwortverhalten aus kognitionspsychologischer Perspektive (5) Editierung Erwägungen sozialer Erwünschtheit können zu einer „Editierung“ der Antwort führen. z.B.: Bei Fragen nach Ausmaß des „Glücks im Leben“ gibt es unterschiedliche Antworten, wenn a) keine behindert erscheinende Person anwesend ist, b) eine im Raum anwesende dritte Person als behindert erscheint (höherer Mittelwert) c) der Interviewer behindert erscheint (geringerer Mittelwert). Befunde zur Erforschung sozialer Erwünschtheit sind theoretisch mehrdeutig, z. B. bei Anwesenheit eines behindert erscheinenden Dritten kann statt sozialer Erwünschtheit ein anderer Bezugsrahmen („gesundheitlich geht es mir doch relativ gut“) gesetzt werden. • Situationsspezifische Einflüsse wie Merkmale des Interviewers, Anwesenheit dritter Personen etc. sind bedeutsamer als die wahrgenommene allgemeine Erwünschtheit in der Gesellschaft. • Werte auf einer „sozialen Erwünschtheits-“ oder „Lügenskala“ sind in der Regel wertlos. • Erwünschtheitsprobleme werden oft überschätzt. Befragte können lügen, tun es aber viel seltener als oft befürchtet.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

21

Kontexteffekte Das zentrale Ergebnis von kognitionspsychologischen Studien über Umfragen ist die Bedeutung des jeweiligen Kontextes bei der Beantwortung von Fragen im Interview. Dabei gilt: Es gibt keine „kontextfreien“ Urteile und Messungen, da Urteile immer kontextabhängig sind und Messungen Kontexte setzen. Kontextquellen • Reale Welt: z.B. persönliche Ereignisse, öffentliche Ereignisse, in Wahlkampfzeiten ist das politische Interesse von Befragten im Mittel höher als zwischen zwei Wahlen. • Interviewkontext: z.B. Interviewer, Setting, Anwesenheit Dritter. Daraus wird oft als Regel gefordert: Interviewer sollen sich möglichst neutral verhalten und keine eigenen Positionen erkennen lassen; sie sollen dabei aber nicht desinteressiert und abweisend wirken. • Fragebogenkontext: vorausgehende Fragen, Antwortvorgaben, Reihenfolge der Antwortvorgaben

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

22

Beispiele für Kontexteffekte in Befragungen 1. Ankersetzung durch numerische Antwortvorgaben: „Wie erfolgreich waren Sie im Leben? Geben Sie die für Sie zutreffende Zahl an.“ Version a: „überhaupt nicht erfolgreich (0) bis sehr erfolgreich (10)“ Version b: „überhaupt nicht erfolgreich (-5) bis sehr erfolgreich (+5)“ Die beiden Antwortvorgaben führten in Experimenten nach einer Reskalierung auf gleiche Zahlen zu unterschiedlichen Mittelwerten: bei a. wird Skala interpretiert als „kein Erfolg“ (=0) bis „großer Erfolg“ (=10) bei b. wird Skala interpretiert als „Misserfolg“ (=−5) bis „großer Erfolg“ (=5). Die Bewertung „mäßiger Erfolg“ ist daher bei a. dichter am unteren Ende der Skala als bei b., was zu geringeren Mittelwerten bei a. führt.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

23

Beispiele für Kontexteffekte in Befragungen 2. Schlüsse aus Antwortvorgaben Messung des täglichen Fernsehkonsums. Unterschiedliche Antwortvorgaben: Version a: bis zu 0.5 Std., bis 1 Std., bis 1,5 Std. bis 2 Std., bis 2.5 Std., mehr als 2.5 Std. Version b: bis zu 2.5 Std., bis 3 Std., bis 3.5 Std., bis 4 Std. bis 4.5 Std., mehr als 4.5 Std. In Umfragen ergaben sich bei Antwortvorgaben Version a. 16%, die mehr als 2.5 Std. fernsehen, bei Version b. dagegen 36%. die mehr als 2.5 Std. fernsehen

3. Geschlossene vs. offene Frage: Beispiel „Was ist das wichtigste, was Kinder lernen sollen, um sie auf das Leben vorzubereiten?“ Wenn Antwortvorgabe Selbstständigkeit (to think for themselves) angekreuzt werden kann, haben 62% diese Antwortmöglichkeit gewählt, werden keine Antwortvorgaben vorgegeben und die freien Antworten der Interviewten hinterher kategorisiert, fallen nur 5% der Antworten in die Kategorie „Selbstständigkeit“.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

24

Beispiele für Kontexteffekte in Befragungen 4. Reihenfolge der Stimuli: Beispiel: Unterschiedliche Frageformulierungen: a. Wenn Sie an Ihre Lehrer in der Schule denken, waren Ihrer Ansicht nach Ihre Lehrerinnen verständnisvoller (more empathetic) bei Problemen als Ihre männlichen Lehrer? b. Wenn Sie an Ihre Lehrer in der Schule denken, waren Ihrer Ansicht nach Ihre männlichen Lehrer verständnisvoller bei Problemen als Ihre Lehrerinnen?

weibliche Lehrer verständnisvoller männliche Lehrer verständnisvoller unentschlossen

a. Frauen - Männer b. Männer - Frauen 41 % 9% 12 % 55 % 47 % 36 %

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

25

Reihenfolgeeffekte Die Reihenfolge der Fragen im Fragebogen hat Konsequenzen für: • das Fragenverständnis, • die temporäre Verfügbarkeit von Informationen (was in den Sinn kommt), • phänomenale Erfahrungen beim Nachdenken (wie leicht etwas in den Sinn kommt), • die Nutzung verfügbarer Informationen (was mit Information gemacht wird), • die Formatierung, • die Editierung. Vorausgegangene Fragen erhöhen Verfügbarkeit von Informationen, die zur Beantwortung genutzt werden. Aktivierte Information kann sein: • Inhalt (z.B. Bewusstwerden der Eigenschaft eines Objekts), • Norm (z.B. Aktivieren einer Reziprozitätsnorm), • Prozess (z.B. Rangordnungen).

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

26

Reihenfolgeeffekte Beispiel: Fragen nach politischem Interesse und nach politischem Wissen Anteil mit geringem Interesse a. erst politisches Interesse, dann politische Wissensfrage 21.0 % („was hat Ihr Abgeordneter für Ihren Kreis getan?“) b. erst politische Wissensfrage, dann politisches Interesse 39.4% c. erst Wissensfrage, dann Frage nach Qualität der Öffentlichkeitsarbeit des Abgeordneten, schließlich Frage nach 29.6 % politischem Interesse Bei schriftlichen statt direkten Befragungen zeigt sich: • Reihenfolgeeffekte sind oft schwächer, • aber neben vorausgehenden Fragen ist auch ein Einfluss nachfolgender Fragen möglich.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

27

Formen und Typen von Fragen in standardisierten Befragungen Nach den zu erfragten Sachverhalten lassen sich Fragetypen unterscheiden: a. Erfassung von Bewertungen (Meinungen, Einstellungen, auch Verhaltensabsichten): Bei Bewertungen wird zwischen Rating und Ranking unterschieden: • beim Ranking werden Alternativen in eine Rangfolge gebracht, • beim Rating erfolgen Bewertungen nach vorgegebenen Bewertungsskalen z.B. einer Skala von 1: stimme überhaupt nicht zu bis 5: stimme voll und ganz zu. b. Erfassung von Wissen und Überzeugungen (Aussagen über empirische Tatbestände, z.B.: "Sind Sie schon einmal bestohlen worden?"): Spezialfälle: • Erfassung von sozio-demografischen Merkmalen wie z.B. Alter, Bildungsabschluss • Erfassung von Verhalten des Befragten (erfragt wird i.a. Häufigkeit, Dauer oder Art vergangener Aktivitäten), • Erfassung von Beobachtungen und Spezialkenntnissen des Befragten (der Befragte wird als Experte betrachtet).

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

28

Formen und Typen von Fragen in standardisierten Befragungen Frageformen: a. geschlossene Fragen: Antwortkategorien werden vorgegeben, Befragter muss sich für eine Vorgabe entscheiden; - Antwortkategorien dürfen sich nicht überschneiden - Vollständigkeit der Vorgaben (z. B. durch Kategorie “sonstiges") b. offene Fragen: keine Antwortvorgaben, Antworten werden vom Interviewer notiert, Spezialfall „Fieldcoding“, d.h. Antworten werden bereits vom Interviewer nach vorgegebenen Kategorien kodiert; c. halboffene Fragen: neben Antwortvorgaben gibt es die Möglichkeit, eine Antwort außerhalb der Vorgaben zu geben (Beispiel: Schulabschluss? Keiner, Hauptschule, Realschule, Gymnasium, anderer und zwar ...) - bei offenen Fragen können Ankersetzungen und möglicherweise falsche Rückschlüsse durch Antwortvorgaben vermieden werden; - geschlossene Fragen bieten dem Befragten zusätzliche Informationen über die Bedeutung der Frage: dadurch kann die Beantwortung erleichtert werden, die Vergleichbarkeit und die Erhebungs- und Auswertungsobjektivität ist i.a. höher, der Zeitaufwand bei Befragung und Analyse geringer. Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

29

Konsequenzen für die Frageformulierung Bei der Frageformulierung kommt es darauf an, die Sichtweise des Forschers in die (vermutete) Sichtweise des Befragten zu übersetzen. Dabei sind die unterschiedlichen Positionen von Forscher und Befragten zu berücksichtigen: Sicht des Forschers: Operationalisierung eines theoretischen Konzepts, Sicht des Befragten: Gespräch mit einer unbekannten Person. Der Forscher sollte sich also bei jeder Frageformulierung überlegen: • Welche Gründe kann ein Befragter für eine spezielle Antwort haben? • Welcher Informationsstand wird (zu Recht?) vorausgesetzt? • Lassen sich die Fragen oder Antwortkategorien auf mehrere Dimensionen beziehen? • Liegen Tendenzen in Frage/Antwort-Formulierung vor?

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

30

„Faustregeln“ für die Frageformulierung - möglichst einfache und kurze Sätze ohne Fremdwörter und Abkürzungen verwenden - keine doppelten Verneinungen nicht: Sind Sie dagegen, dass die Todesstrafe weiterhin verboten bleibt? - keine Überforderung des Befragten (z.B. durch unterstellten hohen Informationsstand nicht: Sind Sie für oder gegen die vorgeschlagene Veränderung von §10 BSHG? - möglichst konkret bleiben und Fragen zu hypothetischen Sachverhalten vermeiden nicht: Stellen Sie sich vor, Sie wären im Ausland, könnten die Landesprache nicht und sehen, wie jemand bestohlen wird: Wie würden sie reagieren? - Vorsicht bei Suggestivfragen nicht: Sind Sie nicht auch der Ansicht, dass Jugendliche, die nicht arbeiten wollen, keine Sozialhilfe erhalten sollen?

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

31

„Faustregeln“ für die Frageformulierung - nur ein Sachverhalt in einer Frage, keine Mehrdimensionalität nicht: Wie zufrieden sind Sie mit mit der Politik, den Politikern und dem ganzen politischen System der Bundesrepublik? - Ausbalancierung der Fragen nicht: Sind Sie für den weiteren Ausbau von Kernkraftwerken? sondern: Sind Sie für den weiteren Ausbau von Kernkraftwerken oder sind Sie gegen den weiteren Ausbau von Kernkraftwerken - Bei mehrfachen Fragen zu einem Thema positive und negative Richtung ausbalancieren, um Verzerrungen durch Ja-Sage-Tendenzen zu vermeiden. - Möglichkeiten der expliziten Meinungsenthaltung z.B. Antwortvorgabe: „weiß nicht/kann ich nicht sagen“ vorsehen aber Problem: hohe Anzahl von Meinungsenthaltungen erschwert die spätere Datenanalyse - „forced choice“ vermeiden? Bei Antwortskala mittlere/neutrale Ausprägung vorsehen durch ungerade Zahl von Antwortwerten vs. gerade Anzahl von Antwortwerten.

Empirie-Vorlesung Teil: Quantitative Methoden WiSe 06/07, 21.11.06)

32