Die Nutzung von Evaluationen in Abstimmungskampagnen

DeGeval Jahresagung Salzburg, 23. September 2016 Caroline Schlaufer, Universität Bern

Kontext >

www.syneval.ch: Forschungsprojekt 2013-2016 Evaluationen im Schweizerischen politischen System

>

Evaluationsnutzung und -Nachfrage im Parlament

>

Evaluationskultur in der Verwaltung

>

Evaluationsklauseln in Gesetzen

>

Evaluationen in Abstimmungskampagnen

2

Ausgangslage (1) >

Nutzungsforschung unterscheidet zwischen: — — — —

>

Instrumental use Conceptual use Process use Symbolic / political / legitimizing use

Politische Nutzung: negative Konnotation — Evaluationen werden „instrumentalisiert“ — Nutzung nur „symbolisch“, ohne Einfluss z.B., Patton 1997, Shulha and Cousins 1997, Weiss 1979, Weiss 1980

3

Ausgangslage (2) >

Von Nutzung zu Einfluss (Henry 2000, Mark & Henry 2004)

>

Evaluationen können zum demokratischen Diskurs beitragen: — Verweis auf Politikprobleme → Agenda-setting Funktion — Bereitstellen politikrelevanter Informationen — Anregen der Argumentation

z.B., Boswell 2009, Esterling 2004, Sanderson 2009, Shulock 1999, Valovirta 2002 4

Forschungsfragen 1. Wie werden Evaluationen und andere wissenschaftliche

Studien in Abstimmungskampagnen genutzt? — Welche Studien werden wie verwendet? — In welchen Dokumenten und von welchen Akteuren wird Evidenz verwendet? 2. Wie trägt die politische Nutzung von Evaluationen zur

Qualität des Mediendiskurses bei?

5

Methodisches Vorgehen (1) >

Kantonale und nationale Abstimmungen im Bereich Volksschule 2000-2012: 105 Abstimmungen [Gesundheit 117 Abstimmungen]

> Abstimmungserläuterungen und Zeitungsartikel: 5’978 Dokumente [Gesundheit 5‘147]

6

Methodisches Vorgehen (2) 1. Deskriptive quantitative Auswertung evidenzgestützter Argumente – – –

Computer gestützte Suche nach Evidenz Nutzung von Evidenz = eine konkrete Studie / Autor wird genannt Evaluation = Bewertung einer öffentlichen Politik

2. Codierung und Vergleich der Diskursqualität von Zeitungsartikeln mit und ohne Evaluationen, quantitativ und qualitativ

7

Methoden: Messen der Diskursqualität Diskursqualität für Zeitungsinhalt: Begründungsrationalität: Positionen begründen > Interaktivität: auf Gegenargumente eingehen > Respekt: keine pejorativen Äusserungen > Gemeinwohlorientierung: explizite Argumentation für das Gemeinwohl oder für die am wenigsten Begünstigten >

(z.B., Gutmann & Thompson 1996, Habermas, 1981, 1991, 1992, Rilke et al. 2013, Steenbergen et al. 2003, Wessler 2008) 8

?

Resultate: Übersicht Gesundheits- und Schulpolitik >

235 (2.1%) der Dokumente nennen eine Evaluation 649 (5.8%) der Dokumente nennen eine wissenschaftliche Studie

>

Total werden 376 Argumente mit Evaluationen untermauert

>

Evaluationsnutzung signifikant... — — — —

...höher im Gesundheitssektor (vs. Bildung) ...höher in den Abstimmungserläuterungen (vs. Zeitungen) ...höher in Interviews, tiefer in Leserbriefen ...höher Autorenschaft Regierung / Administration und Experten, tiefer BürgerInnen als Autor 10

Name of evidence

Items (of those Votes containing evidence)

Arguments

pro

contra

PISA

139 (61.0%)

51

164

57.9%

42.1%

Evaluation ‘EDK-Ost 4 bis 8’

39 (17.1%)

6

64

54.7%

45.3%

School accountability, autonomy, choice and the equity of student achievement. OECD Education Working Papers No 14

4 (1.8%)

2

10

100.0%

0.0%

Report Prof. Dr. Georges Lüdi, University of Zurich

4 (1.8%)

1

9

0.0%

100.0%

Evaluation ‘School project 21’

6 (2.6%)

3

7

28.6%

71.4%

Evaluation ‘Pilot project school entry level’

3 (1.3%)

1

6

33.3%

66.7%

The school system of Geneva

3 (1.3%)

1

5

100.0%

0.0%

Repetition of classes: influencing factors, effectiveness, consequences

4 (1.8%)

2

4

100.0%

0.0%

Evaluation ‘Dealing with German in elementary school’

2 (0.9%)

1

2

100.0%

0.0%

Evaluation ‘Responsibilities and resources of autonomous and semiautonomous schools in Zurich’

2 (0.9%)

1

2

100.0%

0.0%

Evaluation ‘Teaching French in junior and senior secondary school’

2 (0.9%)

1

2

100.0%

0.0%

Ready for school? Reading, vocabulary, mathematics and social competences upon school entry

2 (0.9%)

1

2

0.0%

100.0%

When high-achieving classmates put students at a disadvantage: reference group effects at the transition to secondary schooling

2 (0.9%)

2

2

0.0%

100.0%

The increasing offer of special needs education. A cantonal comparison

2 (0.9%)

2

2

0.0%

11 100.0%

?

Evidenz und Diskursqualität

>

In Zeitungsartikeln mit Evaluationen… — — — —

…werden Positionen eher begründet …wird eher auf Gegenargumente eingegangen …wird weniger respektlose Sprache benutzt …wird eher im Sinne des Gemeinwohls argumentiert

…als in Zeitungsartikeln, welche keine Evidenz enthalten

13

Evidenz und Diskursqualität χ2 φ

Articles with Evaluation N=63

Articles without evaluation N = 63

Justification No Justification

63 (100%) 0 (0%)

46 (73%) 17 (27%)

χ2 (d.f. = 1) = 19.651*** φ = .395***

Reciprocity No Reciprocity

39 (62%) 24 (38%)

13 (21%) 50 (79%)

χ2 (d.f. = 1) = 22.135*** φ = .419***

Respect No Respect

59 (93%) 4 (6%)

49 (78%) 14 (22%)

χ2 (d.f. = 1) = 6.481* φ = .227*

Reference to the Common Good No Reference to the Common Good

13 (21%) 50 (79%)

5 (8%) 58 (92%)

χ2 (d.f. = 1) = 4.148* φ = .181*

Discourse Quality Criteria

*** p < 0.001, * p < 0.05

14

«Es gibt mehrere Gründe, warum Luzern die Reform des Volksschulbildungsgesetzes getrost ablehnen kann. (…) Der Schlussbericht der Ostschweizer Erziehungsdirektorenkonferenz zur Basisstufe zeigt, dass dieses Modell, in das Politiker und Schulbehörden enorme Erwartungen gesteckt haben, keinen signifikant stärkeren Einfluss auf die Fachkompetenz der Kinder hat. Getrennte Kindergarten - und Primarschulklassen erfüllen die Ziele genauso gut. Und die angeblich besseren Sozialkompetenzen von Basisstufenkinder ist eine Hypothese, die wissenschaftlich nicht bestätigt werden konnte.» Kommentar, Neue Luzerner Zeitung, 7. Mai 2011

«Diesbezüglich möchte ich ihr [einer anderen Leserbriefschreiberin] einige Passagen aus dem ausführlichen Schlussbericht zur Evaluation des Zürcher Schulprojekts 21 (Frühenglisch ab der Primarschule als Teil des Projektes) entgegenhalten: "Das zentrale Problem ist ... nicht die Methodik... sondern... die Tatsache, dass das Projekt die Quadratur des Zirkels zu erreichen versucht, indem mit Embedding auf einer simulierten natürlichen Spracherwerb angezielt wird, für den die Bedingungen aber kaum gegeben sind. (…)» Leserbrief, Schaffhauser Nachrichten, 22. Februar 2006

«Die Grundstufe enttäuscht zudem in einem zentralen Punkt: Wie in der Auswertung des Schulversuchs festgehalten wird, gelingt es ihr nicht, die schlechteren Startchancen von Kindern aus bildungsfernen Schichten besser auszugleichen…» Leserbrief, Tagesanzeiger, 2. November 2012

«Unsere Kantonsvertreter werden durch „Bildungsexperten“ und Pseudostudien oder durch die sogenannte Evaluation der EDK in die Irre geführt. Überrumpelt von scheinbar gut abgestützten Studien, werden kritisch eingestellte Kantonsparlamentarier als Ewiggestrige abgeurteilt und in die bildungsferne Ecke abgeschoben.» Leserbrief, Neue Luzerner Zeitung, 10. Mai 2011

Diskussion und Schlussfolgerungen >

Evaluationen werden wenig gebraucht in den untersuchten Abstimmungskampagnen...

>

...können aber den (Medien-) Diskurs bereichern

>

Die Rolle von Regierung und Expertinnen im Abstimmungsdiskurs: Studien einbringen, Relevanz für Bürger erklären

Vielen Dank für die Aufmerksamkeit und Ihr Feedback!

20

Mehr Informationen Schlaufer, Caroline (2015). Global evidence in local debates: the Programme for International Student Assessment (PISA) in Swiss direct-democratic debates on school policy. Policy & Politics, Advance online publication. Schlaufer, Caroline (2016). The contribution of evaluations to the discourse quality of newspaper content. Evaluation and Program Planning, Accepted for publication. Schlaufer, Caroline (2016). The narrative uses of evidence. Policy Studies Journal, Advance online publication. Stucki, Iris (2015). The use of evidence in public debates in the media: the case of Swiss direct-democratic campaigns in the health policy sector. Evidence & Policy, Advance online publication. Stucki, Iris (2016). Arguing about smoking bans: the role of evidence in the social construction of conflicting policy ideas. Critical Policy Studies, 1-22. Stucki, Iris (2016). Evidence-based arguments in direct democracy: The case of smoking bans in Switzerland. Evaluation and Program Planning, Advance online publication.

21