Forschungsmethodik II, SS 2010 Michael Kickmeier-Rust Teil 3, 24. März 2010 Forschungsmethodik II, SS 2010, 24. März 2010

Recap: Erkundungsphase Literaturrecherche Forschungsmethodik II, SS 2010, 24. März 2010

1

Erkundungsphase - Literaturrecherche

Suchstrategien 1. Internet - 150.000.000 Webserver (www.netcraft.com) - Im Prinzip alle Informationen dieser Erde - Suchmaschinen / Google Scholar - Viele Volltexte / Viele Forscher haben ihre Publikationen auf den Homepages frei verfügbar - Aber: Vieles findet sich auch nicht, wirklich systematische Suche ist schwierig, viele zweifelhafte Quellen.

Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Suchstrategien - Auswahl zuverlässiger Quellen (Universitätsseiten, bekannte Forscher, verfügbare Zeitschriften- oder Buchpublikationen) > Diese liefern einen sehr guten Einstiegspunkt für weitere systematische Suchen > Inhaltlich und durch die zitierten Arbeiten! - books.google.com www.scribd.com scholar.google.com

Forschungsmethodik II, SS 2010, 24. März 2010

2

Erkundungsphase - Literaturrecherche

Suchstrategien 2. Datenbanken - PsychInfo, Academic Search Premier (via EBSCO host), Psyndex, SSCI, SCI - Im Prinzip findet man dort die gesamte wissenschaftliche Literatur – von der Doktorarbeit bis zum Buch.

Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Lesestrategien – Don‘ts • • • •

1:1 Übersetzen Jedes unbekannte Wort gleich nachschlagen 50% des Textes als wichtig hervorheben Zu lose überfliegen

Forschungsmethodik II, SS 2010, 24. März 2010

3

Erkundungsphase - Literaturrecherche

Lesestrategien – SQ3R • • • • •

Survey (Überblick verschaffen) Query (Fragen stellen) Read (Lesen) Recite (Fragen beantworten) Review (Beurteilen, Vertiefen)

Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Lesestrategien 1. Abstract sorgfältig lesen 2. Überblick verschaffen (Typ der Arbeit: Metaanalyse, Experimentell, Theoretisch) 3. Den Beginn der Einleitung lesen (meisten sind die zentralen Grundkonzepte im 1. Drittel gut beschrieben) Checkliste: - Was ist die Grundlegende Idee der Arbeit? - Warum ist diese Idee wichtig? > Ziel 4. Conclusio bzw. Diskussionsteil lesen Checkliste: - Was sind die zentralen Ergebnisse? - Welche Einschränkungen gibt es? Forschungsmethodik II, SS 2010, 24. März 2010

4

Erkundungsphase - Literaturrecherche

Lesestrategien 1. Abstract sorgfältig lesen 2. Überblick verschaffen (Typ der Arbeit: Metaanalyse, Experimentell, Theoretisch) 3. Den Beginn der Einleitung lesen (meisten sind die zentralen Grundkonzepte im 1. Drittel gut beschrieben) Checkliste: - Was ist die Grundlegende Idee der Arbeit? - Warum ist diese Idee wichtig? > Ziel 4. Conclusio bzw. Diskussionsteil lesen Checkliste: - Was sind die zentralen Ergebnisse? - Welche Einschränkungen gibt es? Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Lesestrategien 5. Methodenteil lesen (je nach persönlichem Ziel und Qualität des Artikels) Checkliste: - Wie genau lief eine Untersuchung ab? - Was haben die Pbn erlebt? - Welche Instrumente wurden benutzt? - Was wurde aufgezeichnet? 6. Ergebnisteil lesen Checkliste: - Wie sehen die rein deskriptiven Ergebnisse aus? - Ist das plausibel? Forschungsmethodik II, SS 2010, 24. März 2010

5

Erkundungsphase - Literaturrecherche

Lesestrategien - Sind die verwendeten statistischen Verfahren den Daten und der Fragestellung angemessen? - Gibt es signifikante Ergebnisse? - Ist das plausibel? - Wurden alle Hypothesen mit einem inferenzstatistischen Verfahren beantwortet? - Werden die Ergebnisse im Standardformat präsentiert (z.B. immer die SD zu einem Mittelwert mitzuteilen)

Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Bewertungsstrategien •

Literaturüberblick - Wir der SOTA hinreichend beschrieben? - Werde wichtige Arbeiten / Autoren erwähnt? - Ist der Literaturüberblick auf die Ziele einer Arbeit ausgerichtet? - Qualität der Referenzen

• • •

Sprache (Englisch, Gender-Bias) Fragestellung / Idee: Ist sie interessant/wichtig? Qualität des experimentellen Designs - Isolierte Variation der Bedingung? - den Hypothesen angemessen? - ist der Untersuchungstyp angemessen? - Interpretierbarkeit?

Forschungsmethodik II, SS 2010, 24. März 2010

6

Erkundungsphase - Literaturrecherche

Bewertungsstrategien - Ethisch? - Reliabel, valide, objektiv? - Generalisierbar? • Qualität der Durchführung - Minimierung von Störvariablen? - Hinreichende Anzahl an Pbn? - Umfassende Instruktion / Aufklärung? - Testmaterial (eigenes vs. Standardmaterial)? • Qualität der Auswertung - Passen die Verfahren zur Fragestellung? - Passen die Verfahren zu den AVs (Skalenniveau)? Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Bewertungsstrategien •

Qualität der Interpretation - Passt die Interpretation zu den Fragestellungen? - Klingt‘s plausibel? - Werden die Ergebnisse generalisiert? - Werden Einschränkungen hins. Der Gültigkeit gemacht? - Wird die eigene Arbeit kritisch hinterfragt? - Wird versucht, die Ergebnisse in ein großes Ganzes einzubetten? - Wird ein Ausblick auf nächste Schritte gegeben?

Forschungsmethodik II, SS 2010, 24. März 2010

7

Erkundungsphase - Literaturrecherche

Bewertungsstrategien •

Auf den ersten Blick: Peer-Review - Zeitschriften mit Impact Factor (SCI) - Zeitschriften (Periodicals) ohne IF - Proceedings wichtiger (und überlaufener) Konferenzen (APA, DGPs, ACM, IEEE) - Proceedings / Buchkapitel - Monographien - Autoren (CV, Uni, Bekanntheit, Publikationsliste)

Forschungsmethodik II, SS 2010, 24. März 2010

Erkundungsphase - Literaturrecherche

Bewertungsstrategien •

Hands on - Kearney (2005) - Wolfe, Horowitz, & Michod (2006)

Forschungsmethodik II, SS 2010, 24. März 2010

8

Versuchsplanung / Versuchspläne Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Alltagsfrage zur wissenschaftlichen und statistischen Hypothese 1. Aus Expertise, Neugierde und Kreativität ergeben sich neue / neuartige Fragestellungen. Diese manifestieren sich zunächst in Form von Alltagsfragen. Gibt es Telepathie? Ist es gut für unsere Kinder, wenn sie in der Schule dem ständigen Notenstress ausgeliefert sind? Sind Spielen und Lernen miteinander (in Form eines Lernspiels) vereinbar?

Forschungsmethodik II, SS 2010, 24. März 2010

9

Versuchsplanung / Versuchspläne

Von der Alltagsfrage zur wissenschaftlichen und statistischen Hypothese 2. Erstes Ziel der Wissenschaft ist es, Probleme und Interessen in angemessener Weise zu formulieren, d.h. den Weg zu einer potentiellen Überprüfung zu ebnen. > Theorienbildung - Präzise Formulierung (Als Frage oder Aussage) - Signifikanter Informationsgehalt - Logischer Aufbau/Inhalt - Empirische Überprüfbarkeit - Vereinbarkeit mit anderen Theorien - Auf Basis der Beziehung mind. 2er Variablen zueinander Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Alltagsfrage zur wissenschaftlichen und statistischen Hypothese 3. Aus wissenschaftlichen Fragen bzw. Aussagen lassen sich Hypothesen ableiten. > explikativ vs. deskriptiv > singulär vs. universell > deterministisch vs. statistisch > gerichtet vs. ungerichtet > Unterschied vs. Zusammenhang

Forschungsmethodik II, SS 2010, 24. März 2010

10

Versuchsplanung / Versuchspläne

Von der Alltagsfrage zur wissenschaftlichen und statistischen Hypothese Im Sinne der Logik sind wiss. Hypothesen bedingte behaupten (explizieren) einen bestimmten Zusammenhang zwischen Variablen. > beobachtbar > beliebig replizierbar > informationshaltig

• • • • •

Bei 8 gegenüber 0 Gramm Alkohol...verlängert sich die Reaktionszeit, verkürzt sich oder sie bleibt gleich. Bei 8 gegenüber 0 Gramm Alkohol...verändert sich die Reaktionszeit. Bei 8 gegenüber 0 Gramm Alkohol...verlängert sich die Reaktionszeit. Bei 8 gegenüber 0 Gramm Alkohol...verlängert sich die Reaktionszeit um das 2 bis 3-fache Bei 8 gegenüber 0 Gramm Alkohol...verlängert sich die Reaktionszeit um das 2.7 bis 2.8 fache.

Huber, O. (1987). Das psychologische Experiment: Ein Einführung. Bern: Huber. Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Alltagsfrage zur wissenschaftlichen und statistischen Hypothese Und im statistischen Sinn: • H1: Die eigentliche Hypothese (Alternativhypothese) • H0: Die Nullhypothese H1 und H0 müssen alle denkbaren Fälle umfassen und sich gegenseitig ausschließen! „Bei 8 gegenüber 0 Gramm Alkohol verlängert sich die Reaktionszeit um das 3-fache“

H1: µRZ | A H0: µRZ | A

=

µRZ * 3 µRZ * 3

Forschungsmethodik II, SS 2010, 24. März 2010

11

Versuchsplanung / Versuchspläne

Von der Alltagsfrage zur wissenschaftlichen und statistischen Hypothese Und im statistischen Sinn: • H1: Die eigentliche Hypothese (Alternativhypothese) • H0: Die Nullhypothese H1 und H0 müssen alle denkbaren Fälle umfassen und sich gegenseitig ausschließen! „Bei 8 gegenüber 0 Gramm Alkohol verlängert sich die Reaktionszeit um das 3-fache“

H1: µRZ | A H0: µRZ | A

=

µRZ * 3 µRZ * 3

Hilft präzise zu formulieren!

Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von theoretischen Konstrukten zur Messbarkeit 1. Operationalisierung Operationalisierung ist die Messbarmachung eines theoretischen, zunächst nicht oder schlecht beobachtbaren Konzepts durch die Zuordnung von empirisch erfassbaren, zu beobachtenden oder zu erfragenden Indikatoren. Oft geht die Operationalisierung mit einer Zerlegung des theoretischen Konzepts in Einzel- /Detailfragen einher.

Forschungsmethodik II, SS 2010, 24. März 2010

12

Versuchsplanung / Versuchspläne

Von theoretischen Konstrukten zur Messbarkeit

Atteslander, P. M. (2000): Methoden der empirischen Sozialforschung (10. Auflage). Berlin: de Gruyter Studienbuch. Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von theoretischen Konstrukten zur Messbarkeit 2. Skalenniveaus Skala

Mögliche Operationen

Beispiel

Lageparameter

Anmerkung

Nominalskala

=,

Geschlecht

Modalwert

Nur deskriptiv Betrachtbar

Ordinalskala

=, ,

Sportergebnisse

Median

Rangfolge; Transitivität

Intervallskala

=, , , +, -

Temperatur

Arithmetisches Mittel

Gleich große Merkmalsunter schiede sind durch äquidistante Zahlen abgebildet.

Forschungsmethodik II, SS 2010, 24. März 2010

13

Versuchsplanung / Versuchspläne

Von theoretischen Konstrukten zur Messbarkeit 2. Skalenniveaus Skala

Mögliche Operationen

Beispiel

Lageparameter

Rationalskala

=, , , +, -, *, /

Jahreszahlen Geometrisches Mittel

Absolutskala

=, , , +, -, *, /

Gewicht

Geometrisches Mittel

Anmerkung

Hat einen natürlichen Nullpunkt

Literatur: Bortz & Döring (1995), Kapitel 2.3.6, Ss 66-69 Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von theoretischen Konstrukten zur Messbarkeit 2. Auswahl des Messverfahrens •

Eigene Verfahren • Angepasst auf die eigenen Ziele • Meist Probleme bei Gütekriterien • Keine Standardisierung / Normierung

• Standardverfahren • Nicht immer verfügbar • Nicht immer auf die eigenen Ziele ausgerichtet • Qualität gut / Argumentation einfach

Forschungsmethodik II, SS 2010, 24. März 2010

14

Versuchsplanung / Versuchspläne

Von theoretischen Konstrukten zur Messbarkeit Woher nehmen? • Internet • Testsammlung in der IB • Linksammlung des ZPID (www.zpid.de)

• Testzentrale des Hogrefe-Verlags (www.testzentrale.de/) • Literatursuchsuche in Bezug auf Diagnostik und Messen

Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung 1. Varianz in den Daten • Primärvarianz (Anteil der Varianz, der auf die Wirkung der UV zurückgeht)

• Sekundärvarianz • Störvarianz (Aufgrund systematischer Fehler)

• Fehlervarianz / Rauschen (Zufällige unsystematische Fehler)

Forschungsmethodik II, SS 2010, 24. März 2010

15

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung 2. MaxConMin – Prinzip • Primärvarianz maximieren • Störvarianz kontrollieren • Fehlervarianz minimieren Im Sinne der Varianzanalyse bedeutet das MaxConMin-Prinzip das Verhältnis der Varianz zwischen den Bedingungen und den Varianzen in den Bedingungen zu optimieren und so die Chancen auf einen Inferenzstatistischen Nachwiese zu maximieren.

Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung 3. Kontrolle von Störgrößen • Elimination • Beispiel: Lärm, Hemisphäreneinflüsse, Alter, … • Maßnahme: Laborbedingungen, Stichprobenauswahl, … • Nachteile: Generalisierbarkeit, Entfernung vom natürlichen Kontext • Konstanthaltung • Beispiel: Tageszeit, Medikationen, Bewegungen • Homogenisierung • Beispiel: Fähigkeiten, Persönlichkeitsmerkmale, Geschlecht, … Maßnahme: Stichprobenselektion • Achtung: Randomisierung! Forschungsmethodik II, SS 2010, 24. März 2010

16

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung • Parallelisierung • Beispiel: Fähigkeiten, Persönlichkeitsmerkmale, Geschlecht, … Maßnahme: Zwillingsbildung / Matched pairs • Achtung: Randomisierung! • Aufnahme der Störgröße in den Versuchsplan • Achtung: Variablenzahl, Wechselwirkungen, …

Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung 4. Stichprobe • • • •

Zufallsstichproben (randomisiert) geschichtete Stichproben (Trennung nach untersuchungsrelevanten Gesichtspunkten, etwa Geschlecht, Alter, Bildungsgrad, etc.) Klumpen-Stichproben (Auswahl von bestimmten Gruppen aus einer Grundgesamtheit von Gruppen, z.B. Schulklassen aus der Gesamtheit aller Klassen einer Schule) Anfallsstichproben (Klinische Gruppen, Studenten)

Forschungsmethodik II, SS 2010, 24. März 2010

17

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung 4. Stichprobe Randomisierung • Vergleichbarkeit der Personen in den experimentellen Gruppen hinsichtlich aller denkbaren Personenvariablen und untersuchungsirrelevanten Einflüssen • Die Randomisierung ist die einzige Methode, welche sowohl bekannte wie unbekannte Störfaktoren kontrollieren kann • Die Effizienz der Randomisierung hängt von der Homogenität der Population ab (je homogener desto effizienter) und von der Stichprobengröße (je größer desto effizienter) Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung • Jede Person muss die gleiche Chance haben in einer bestimmten Versuchsgruppe zu landen • Spezialfall eingeschränkte Randomisierung: Zuerst Parallelisieren und dann Randomisieren • Echte Zufallszahlen: http://www.randomizer.org/ • Achtung: Die Randomisierung kann die Vergleichbarkeit der Gruppen nicht garantieren, sondern lediglich wahrscheinlich machen! Es empfiehlt es sich, die Vergleichbarkeit der Gruppen an verfügbaren Daten zu überprüfen.

Forschungsmethodik II, SS 2010, 24. März 2010

18

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße • Die Theorie: α und β Risiko sollten etwa gleich sein (Bortz & Döring, 1995; S. 468) > dazu bedarf es aber großer Stichproben > Wenn man aus best. Überlegungen das β-Fehlerrisiko erhöhen kann/will, lässt sich die Stichprobe theoretisch verkleinern. • Cohen (1988, zitiert nach Bortz & Döring, 1995, S. 567) meint, ein 4x so hohes β-Fehlerrisiko ist tolerierbar da die Auswirkungen nicht so gravierend seinen. Bei einem α-Niveau von 5% wäre ein β-Niveau von 20% tolerierbar. • Teststärke (1 – β), Effektgröße (Distanz zwischen H0 und H1 Verteilung) und α-Fehlerrisiko sind funktional miteinander verknüpft und ergeben den optimalen Stichprobenumfang. Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße

Forschungsmethodik II, SS 2010, 24. März 2010

19

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße – Faustregeln • • • • •

Höheres α-Niveau Einseitig Testen Merkmalsvarianz verringern (Stichprobe) Effektstärke erhöhen (Konstrukt – Operationalisierung) Stärkeres Testverfahren nutzen

Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße – Faustregeln Höheres Alphaniveau

Mehr Effektgröße

Forschungsmethodik II, SS 2010, 24. März 2010

20

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße – Listen

(Bortz & Döring, 1995, S. 565) Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße – Listen

(Bortz & Döring, 1995, S. 575) Forschungsmethodik II, SS 2010, 24. März 2010

21

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße – Software G*Power: http://www.psycho.uni-duesseldorf.de/abteilungen/aap/gpower3/

(Bortz & Döring, 1995, S. 575) Forschungsmethodik II, SS 2010, 24. März 2010

Versuchsplanung / Versuchspläne

Von der Messbarkeit zur Messung Optimale Stichprobengröße – Fazit • Die Stichprobengröße kann sich enorm auf die Resultate von Signifikanztests auswirken. • Prinzipiell könnte man sich jedes signifikante Ergebnis „erkaufen“. • In Bezug auf Stichprobengröße gilt also NICHT (unbedingt) je mehr desto besser!

(Bortz & Döring, 1995, S. 575) Forschungsmethodik II, SS 2010, 24. März 2010

22

Erwartungen ans Planungsreferat • 30 Minuten • Überblick über die Literatur • Die eigene Fragestellung und eine „Begründung“ für diese Fragestellung • Abgeleitete Hypothesen • UVs und AVs • Geplante Messverfahren samt Begründung • Geplante Stichprobe: Größe, Eigenschaften, Rekrutierung • Versuchsplan / Gruppen / Gruppenzuordnung inkl. Vor- und Nachteile des Versuchsplans • Gedanken zur Kontrolle von Störvariablen • Gedanken zu möglichen ethischen Aspekten • Exakte Beschreibung der Prozedur und der geplanten Auswertung Forschungsmethodik II, SS 2010, 24. März 2010

Schönen Nachmittag! Forschungsmethodik II, SS 2010, 24. März 2010

23