1

„Rigor versus Relevance“ – Zur Rolle der wissenschaftlichen Zeitschriften Alfred Wagenhofer Universität Graz

Vortrag auf der Pfingsttagung des Verbands der Hochschullehrer für Betriebswirtschaft e.V. Paderborn, 31. Mai 2007

2

Motivation „

Häufig geäußerter Vorwurf an Forschung in der BWL: Steigende Rigorosität und sinkende Relevanz z Beobachtung in den wissenschaftlichen Publikationen z Hinwendung zu naturwissenschaftlichen Methoden – „Physics envy“ der BWL? z Viele Diskussionen, nicht nur in der BWL und nicht nur im deutschsprachigen Raum ¾ Bereits Mellerowicz ((ZfB 1952)) monierte,, dass die Darstellungen in Gutenbergs Werk von einem derart hohen Abstraktionsgrad seien, dass sie für die Praxis unergiebig wären

„

Ziel des Vortrags z Welche Rolle spielen die wissenschaftlichen Zeitschriften? z Was sind die Hintergründe und die Ursachen? z Was könnte geändert und verbessert werden?

3

Übersicht „ „

„Rigor“ und „Relevance“ definiert Internationalisierung e o s e u g alss verursachender ve u s c e de Trend e d z Ursachen und Konsequenzen z Performancemaße und Qualitätsbeurteilung

„

Wissenschaftliche Zeitschriften z Publikationskriterien z Zusammenhang Z sammenhang von on Relevanz Rele an und nd Rigorosität in der Selektion und Forschungstätigkeit z Rigorosität und Relevanz für die Praxis z Rigorosität und Relevanz für die Lehre

„

Zusammenfassung

4

„Rigor“ und „Relevance“ definiert „

Rigorosität z Wissenschaftliche Qualität z Nachweisbarkeit N h i b k it und dB Begründung ü d d der E Ergebnisse b i anstelle t ll von „Glaubensbekenntnissen“ z Exaktheit, Genauigkeit der Analyse

„

Relevanz z Relevanz für wen? Wissenschaft, Ausbildung, Praxis z Relevanz R l d der F Forschungsfrage h f oder d d der Forschungsergebnisse? z Relevanz aus heutiger oder künftiger Sicht?

„

Relevanz als Gesamturteil z Umfasst Relevanz und Rigorosität z Relevant ist Änderung Ä der „priors“

5

Steigende g Internationalisierung g der Forschung in der BWL „

Bereiche der Internationalisierung z Erkenntnisobjekt Unternehmen z Forschung z Ausbildung an Universitäten

„

Konsequenzen q für die Forschung g z z z z

„

Größerer Leserkreis von Forschungsoutput Größere Auswahl bei den Publikationsorganen St d di i Standardisierung der d Kommunikation K ik ti Steigender Wettbewerb bei Ideen und Forschungsfragen

Qualitätsbeurteilungg der Forschungg Q z Beurteilung früher tendenziell mehr subjektiv z Stärkere Formalisierung der Qualitätsbeurteilung z Internationale I t ti l Vergleichbarkeit V l i hb k it von Qualität Q lität

6

Performancemaße zur Beurteilung g der Qualität der Forschung „

Stärkere Verwendung quantitativer Performancemaße z Sind „objektivierbar“, „auditable“ z Häufig Hä fi höhere höh G Gewichtung i ht b beii b besserer M Messbarkeit b k it z Erfassen aber nicht alle Aspekte von Qualität

„

Typische Performancemaße z z z z z

„

Artikel in wissenschaftlichen Zeitschriften (A, B, C, ...) Bücher, sonstige Publikationen Zitationen Forschungspreise, Ehrungen Forschungsprojekte

Aggregation z Objektivierung j g der Gewichtung: g Rankings g der Zeitschriften,, gewährte Budgets, Knappheit und Geldbetrag von Preisen

7

Wissenschaftliche Zeitschriften „ „

Zeitschriftenartikel erfüllen viele dieser Kriterien und bekommen größere Bedeutung als Performancemaß F Formalisierter li i t Selektionsprozess S l kti für fü Artikel A tik l z Herausgeber z Peer reviews z Wettbewerb um beste Manuskripte

„

Ranking von Zeitschriften z z z z z

Qualitätssegmentierung Strenge des Selektionsprozesses I Impact td der d darin i erschienen hi A Artikel tik l Aufnahme in SSCI und andere Indizes g (Artikel, ( , Zitierung, g, Leser)) Internationale Verbreitung

8

Beispiele p für Kriterien für Publikation in wissenschaftlichen Zeitschriften The Accounting Review The only official publication criterion is that the paper make a significant incremental contribution to the accounting g literature. Clearly, y, the quality q y and rigor of the analysis and the accessibility of the presentation are important in determining whether the paper is currently or potentially suitable for publication. The “significant incremental contribution” req irement means that the paper sho requirement should ld potentiall potentially be of interest to a relatively broad cross-section of The Accounting Review’s readership.

J Journal l off Accounting A ti andd Economics E i We request that you impose tough standards and, in particular, place a high price on length. We would like you to give specific attention to two issues: First, what is the contribution off the paper? ? (Does ( it address an interesting issue? What does it add to the literature?) Second, is the result explained intuitively, does the explanation make sense and is the process generating the result apparent to the reader?

9

Beispiele p für Kriterien für Publikation in wissenschaftlichen Zeitschriften Management Accounting Research 1. The subject addressed in this article is worthy of investigation. 2. The information p presented is new. 3. The conclusions are supported by the data.

Accounting Horizons Relevance: The paper must address topics that appeal to a broad audience – researchers, educators, practitioners, regulators, students – and a do often te implies p es linkages ages to real-world ea o d de developments. e op e ts Rigor: thoughtful, well-articulated arguments and logic, and appropriately designed examples, experiments, and tests. It does not mean that only papers with rigorous statistical or mathematical work are acceptable. R d bilit Effectiveness Readability: Eff ti with ith which hi h th the paper’s ’ messages are communicated and the accessibility of those messages to a diverse group of readers.

10

Kriterien für Publikation in wissenschaftlichen Zeitschriften „

Die wichtigsten Kriterien sind z Relevanz z Rigorosität Ri ität z Kommunikation

„

Ziel der Selektion sind hohe Relevanz und Rigorosität z Unterschiede bei Zeitschriften bestehen hinsichtlich der Wichtigkeit dieser Kriterien (explizit oder implizit)

„

Warum entsteht dann Eindruck von z Substitution von Relevanz und Rigorosität? z Betonung von Rigorosität zu Lasten der Relevanz?

11

Substitution aufgrund g der Forschungstätigkeit „

Substitution durch sachliche Interdependenzen z Reduktion der Relevanz zur Sicherung hoher Rigorosität – und umgekehrt – bei komplexen Forschungsfragen fast unvermeidlich

„

S b tit ti in Substitution i der d Produktion P d kti von Publikationen P blik ti z Erstellung von Relevanz und Rigorosität erfordert Zeit – und Zeit für Forschung ist ein Engpass z Allokation von Zeit für Forschungsaktivitäten abhängig von ¾ marginalem Nutzen von Relevanz und Rigorosität ¾ Risiko Ri ik des d Erfolgs Ef l ¾ Interdependenz der marginalen Anstrengungsniveaus

12

Betonung von Rigorosität „

Relevanz schlechter messbar als Rigorosität z Einfachere Begründung der Ablehnung von Aufsätzen durch Gutachter mit fehlender Rigorosität

„

Risikoscheu von Forschern z Risiko einer Fehleinschätzung g ((eigene g und des Gutachters)) der Forschungsqualität bei Relevanz höher als bei Rigorosität z Streben nach hoher Relevanz beinhaltet höheres Risiko eines Fehlschlags der Forschung z Risikoscheu vor allem zu Beginn wissenschaftlichen Karrieren z Möglichkeit der Risikoreduktion durch ¾ Wahl kurzfristig realisierbarer Forschungsprojekte ¾ empirische Forschung (hat meist deskriptiv schon Relevanz)

13

Relevanz und Rigorosität g in der Selektion (1)

„

Substitutiver S b tit ti Zusammenhang Z h entsteht durch Aggregation beider Kriterien für Publikation Annahmen z α × Relev + (1 – α) × Rigor ≥ R z Artikel sind entlang der beiden Eigenschaften unabhängig und gleich verteilt

„

Beobachtungen z Relevanz und Rigorosität publizierter Artikel sind negativ korreliert z Relevantere Artikel weisen i Durchschnitt im D h h itt geringere i Rigorosität auf

1

Riggorosität

„

Schichtung in sehr b weniger bzw i relevante Artikel

0 0

Relevanz

1

14

Relevanz und Rigorosität g in der Selektion (2) Annahme zT Tatsächliche t ä hli h G Gewichtung i ht von Relevanz und Rigorosität ist für A- und BJ B-Journals l gleich l i h groß ß „

Beobachtungen z Korrelation von Relevanz und Rigorosität ist für A-Journals weniger negativ als für B-Journals B Journals z B-Journals scheinen Rigorosität stärker zu gewichten

1

A-Journal R Rigorosität t

„

B-Journal 0 0

Relevanz

1

15

Relevanz und Rigorosität g in der Selektion (3)

„

Herausgeberentscheidungen im Review-Prozess im Grenzbereich häufig „Revise and resubmit“ Autoren können Aufsätze überarbeiten z Erhöhung der Rigorosität z Erhöhung E höh d der R Relevanz l viel schwieriger

„

Beobachtung: g Obwohl Rigorosität erhöht wird, erscheint Gewichtung im Durchschnitt reduziert

Regressionsi geraden 1

R Rigorosität t

„

0 0

Relevanz

1

16

Relevanz und Rigorosität g in der Selektion (4)

„

Annahme: Unsicherheit und Fehler bei Beurteilung von Relevanz höher Beobachtungen z Fehler 2. Art häufiger als Fehler 1. Art (Ablehnung, obwohl geeignet) z Fehler 2. Art bei hoher Relevanz relativ höher z Bei niedriger Rigorosität publizierter Artikel ist Relevanz eher unter Annahmegrenze

„

1

Fehler 1. Art R Rigorosität t

„

Fehler 2. Art

0 0

Relevanz

Gleichgewichtsreaktion: („vorsichtige“) ( vorsichtige“) Gutachter schieben Annahmegrenze nach rechts

1

17

q-rr Theorie q (Ellison, JPE 2002) „

Dynamisches Gleichgewicht mit tendenziell steigender Rigorosität und steigender Gewichtung von Rigorosität z Gutachter und Autoren sind unsicher über Selektions Selektionskriterien (α, R) und lernen sie im Begutachtungsprozess z Autoren schätzen Qualität ihrer Aufsätze vielfach zu hoch ein ( (overconfidence) fid ) und d werden d aber b abgelehnt b l h t Schluss: Qualität muss höher sein z Als Gutachter setzen diese Autoren höhere Standards und verlangen bei mehr Aufsätzen eine Revision Revision erhöht jedoch nur Rigorosität g g finden sich bei z Unerwartete Herausgeberentscheidungen marginalen Aufsätzen Aufsätze mit hoher Rigorosität werden (nach mehreren Runden) dennoch abgelehnt Schluss: Rigorosität hat besonders hohes Gewicht

18

q-r Theorie

„

„

Vermutete höhere Gewichtungg von Rigorosität g dreht kritische Grenze Beobachtung: höhere Ri Rigorosität i ä und d niedrigere i d i Relevanz publizierter t e Artikel Verstärkt wahrgenommene Bedeutung von Rigorosität z Gutachter achten mehr auf Rigorosität z Autoren achten mehr auf Rigorosität

1

R Rigorosität t

„

0 0

Relevanz

1

19

Empirische Ergebnisse „ „

q-r Theorie impliziert Ansteigen der Qualitätskriterien Hypothese: Sinkende Zahl von Artikeln in top tierZ it h ift (trotz Zeitschriften (t t Steigerung St i des d Angebots A b t an A Aufsätzen) f ät ) Management Marketing Fi Finance

Quelle: Swanson (CAR 2004)

Accounting

20

Rigorosität g und Relevanz für die Praxis und wissenschaftliche Zeitschriften „

Befragung von 124 Managern in großen Unternehmen zu BWL-Zeitschriften (Oesterle, DBW 2006) mit folgenden kurzgefassten Ergebnissen z Kennen – ja; lesen – nein z Korrelation von „Wissenschaftlichkeit“ (gemessen über Rang im VHB-Jourqual) mit ¾ Bekanntheitsgrad −0,65 ¾ Lesehäufigkeit −0 0,58 58 ¾ Nutzen der Lektüre −0,52

„

Andere Studie findet schwache, aber signifikant g positive Korrelation der Einschätzung der Relevanz (im weiteren Sinn) durch Praktiker und Wissenschaftler (Baldridge/Floyd/Markóczy, (Baldridge/Floyd/Markóczy SMJ 2004)

21

Rigorosität und Relevanz für die Praxis „ „

Ruf nach stärkerer Relevanz wegen „Unzufriedenheit“ mit Forschungsergebnissen G Grund: d Wissenschaftliche Wi h ftli h E Ergebnisse b i oft ft nicht i ht eindeutig und hängen von Annahmen, Daten usw ab z Praxis möchte meist klare und eindeutige g Antworten z Aber: Reale Welt ist komplex – warum sollen dann Forschungsergebnisse einfach sein?

„

Ab auch Aber h iin d der P Praxis i wird i d Ri Rigorosität ität wichtiger i hti z Rechtfertigungsdruck für Managemententscheidungen steigt

„

Differenzierung gegenüber Beratung: Höhere Rigorosität der Forschung z Beraterwissen muss nur im Einzelfall „funktionieren“

22

Rigorosität g und Relevanz für die Praxis und wissenschaftliche Zeitschriften „

Bedarf nach besserer Kommunikation von Forschungsergebnissen z Kommunikation wichtiges Selektionskriterium von wissenschaftlichen Zeitschriften z Forschung ist hoch spezialisiert – wird nur von wenigen wirklich i kli h verstanden t d z Publikationsorgane spezialisiert auf bestimmten Leserkreis

„

Möglichkeiten z Artikel selbst: Praktiker sollten die Einleitung von Artikeln lesen und verstehen können z Transfer: Beispiel Executive Summaries oder Kurzvorstellung von Aufsätzen in Newsletters und anderen Medien z Rezeption von Forschungsergebnissen in top tier naturwissenschaftlichen Zeitschriften in Zeitungen und Magazinen

23

Rigorosität und Relevanz für die Lehre Wissenschaftliche Zeitschriften im Bereich der education verlangen ebenfalls mehr Rigorosität B i i l Issues Beispiel: I iin Accounting A ti Education Ed ti Cases include educational materials designed for use by accounting faculty to enhance the learning process in innovative and clearly focused ways. T Teaching hi N Notes t are an iintegral t l partt off C Cases and d mustt ffully ll d describe ib th the purpose of the case, strategies for using the case in class, ways in which the case can be altered to fit particular classroom needs, likely student responses to the case, and supporting analyses and discussions. Instructional materials will be reviewed and evaluated with the Teaching Notes and Solutions. When cases are submitted authors must provide some evidence of classroom validation and/or peer validation of the materials. t i l A Authors th also l mustt provide id evidence id off th the efficacy ffi off the th case in i terms meeting the educational objectives outlined in the case. Such evidence does not necessarily consist of strictly controlled experiments, but should reflect the experience of more than one use use, implementation costs costs, perceived benefits, and recommendations for how to effectively use the case based on the experience of at least two faculty members.

24

Rigorosität und Relevanz für die Lehre „

Relevanz von Forschung für Studierende z Forschungsgeleitete Lehre z Unterschiedlicher Bedarf für Bachelor Bachelor, Master Master, Ph Ph.D. D Studien z Beispiel für Relevanz: Ralph Test (Demski) ¾ Is the central question in the research project of any classroom importance? ¾ Similarly, is the answer that the research provides to this central question of any use?

„

Aber: Bedarf nach besserer Kommunikation von Forschungsergebnissen z Lehrbücher z Survey-Artikel z Zeitschriften mit Zielgruppe Studierende

25

Ergebnis und Zusammenfassung (1) „

„Rigor vs Relevance“ ist international ein Thema, im deutschsprachigen Raum aber ganz besonders aktuell z Internationalisierung z Formalere Leistungsbeurteilung

„ „

Folge: Rolle der Zeitschriften steigt Relevanz im Sinne von Änderung der „priors“ ist wichtigstes Kriterium für Forschungsoutput z Benötigt Relevanz der Forschungsfrage und der Forschungsergebnisse und Rigorosität z Rigorosität wichtiges Differenzierungsmerkmal wissenschaftlichen Outputs und Bedingung für Glaubwürdigkeit der Forschungsergebnisse z Relevanz ist das schwerer zu erfüllende Kriterium

26

Ergebnis und Zusammenfassung (2) „ „

Substitution aufgrund des Produktionsprozesses von Forschungsergebnissen S b tit ti aufgrund Substitution f dd des S Selektionsprozesses l kti b beii Zeitschriften z Beobachtete Substitution aufgrund g der Verwendungg mehrerer Kriterien z Wahrnehmung der Wichtigkeit von Rigorosität durch Selektionsprozess bei Beobachtung der publizierten Artikel tendenziell überhöht

„ „

Rigorosität wesentliches Differenzierungsmerkmal d F der Forschung h Aber: Bessere Kommunikation von Forschungsergebnissen notwendig

27

„Rigor versus Relevance“ – Zur Rolle der wissenschaftlichen Zeitschriften Alfred Wagenhofer Universität Graz

Diskussion …