Stephan Wolff/Thomas Scheffer

Begleitende Evaluation in sozialen Einrichtungen 1. QUALITATIVE ALS BEGLEITENDE EVALUATION ......................................................................................... 1 2. EIN BEISPIEL: BEGLEITENDE EVALUATION EINER REORGANISATION IM BEREICH ERZIEHUNGSHILFE ...... 4 3. EVALUATION ALS ZUMUTUNG ................................................................................................................... 6 4. DER ANWENDUNGSBEZUG ........................................................................................................................ 8 5. EIGEN-EVALUATION VERSUS PROFESSIONELLE EVALUATION ............................................................... 100 6. GRÜNDE FÜR EIN FEHLENDES INTERESSE AN BEGLEITENDER EVALUATION ........................................... 122 7. WIRKUNGSGRENZEN ............................................................................................................................... 15 8. EVALUATION ALS MODELL FÜR ORGANISATORISCHES LERNEN? ............................................................ 17 9. MAßNAHMEN ZUR QUALITÄTSSICHERUNG .............................................................................................. 20 10. DER GEHEIME LEHRPLAN: LERNEN, BEANTWORTBARE FRAGEN ZU STELLEN ........................................ 211 LITERATUR...................................................................................................................................................... 233

1.

Qualitative als begleitende Evaluation1

Nach einer Flaute in den 80er Jahren erlebt die Evaluation ab Mitte der 90er Jahre einen neuen Aufschwung. Es haben sich neue Betätigungsfelder eröffnet: in den Hochschulen, in der Wirtschaft, im Gesundheitswesen und nicht zuletzt durch die Modernisierungsbemühungen im Öffentlichen Dienst. Man spricht wieder über Evaluation und stellt verstärkt konzeptuelle Überlegungen an. In diesem Zusammenhang erfährt auch die qualitative Evaluationsforschung einen bemerkenswerten Popularitätszuwachs (vgl. v. Kardorff 2000). Qualitative Evaluation ist weder theoretisch noch von den verwendeten Methoden her ein klar definiertes Unterfangen. Weder erscheint es sinnvoll die qualitative Evaluation als Ergänzung oder als Korrektur „quantitativer Ansätze“ zu positionieren, noch sie mit der Verwendung qualitativer Verfahren gleichzusetzen. Eher schon ließe sich von einem alternativen Paradigma der Evaluation sprechen. Der gedankliche Zielpunkt verschiebt sich von der Wissensakkumulation (bezüglich der Resultate von Veränderungsprogrammen) auf den organisatorischen Wandlungsprozess selbst. Kriterium für den Einsatz von Methoden wäre dann deren Gegenstandsangemessenheit und Anpassungsfähigkeit im Hinblick auf die praktischen Umstände des jeweiligen Reformprozesses. Das bedeutet: die Wahl der Methoden erfolgt im Hinblick auf Gesichtspunkte wie situative Nutzbarkeit, Glaubwürdigkeit oder „politische Relevanz“ der betreffenden Daten. Von daher kann der gelegentliche Einsatz quantitati1

Der folgende Text greift Argumente aus einer früheren Arbeit des ersten Autors auf (vgl. Freundlieb/ Wolff (1999).

1

ver Verfahren bzw. die Erstellung und Verwendung quantitativer Kennwerte auch im qualitativen Verständnis angemessen und wünschenswert (und für die Akzeptanz des Gesamtprojekts äußerst hilfreich) sein. Qualitative Ansätze zur Evaluation eint bei aller Unterschiedlichkeit (vgl. als Überblick Shaw 1999: 19 ff.) die Absicht, nicht nur bei der Wirksamkeitskontrolle, sondern schon im Prozess, d.h. bei der Entwicklung und Umsetzung entsprechender Reformmaßnahmen mitzuwirken. Diese Prozessorientierung bezieht sich konsequenter Weise auch auf die Evaluation selbst. Sie sollte gleichfalls als (Kommunikations-)Prozess strukturiert sein. Es findet also eine Akzentverschiebung von der Suche nach allgemeinen Programmeffekten zu kurzfristigen Kontrollen und zu erfahrungsgestützten Korrekturen ablaufender Prozesse statt. Zur qualitativen Evaluation gehört die regelmäßige Rückmeldung über den Zustand des zu verändernden Systems an die verschiedenen Beteiligtengruppen, sei es als Nachweis für Zielerreichung und Zielverfehlung, oder als Anregung für Neuanpassungen und weitergehende Überlegungen. Die qualitative Evaluation bemüht sich also um einen direkten und kontinuierlichen Anwendungsbezug. Ein derartiges Vorgehen eignet sich insbesondere für Veränderungsprozesse im Rahmen komplexer, lose verkoppelter Organisationen und bei turbulenten Umwelten, die sukzessives Vortasten verbunden mit fallweisen Entscheidungen über das weitere Vorgehen erfordern. Qualitative Evaluation begleitet Abläufe in natürlichen Settings. Die Untersuchungen finden in demselben zeitlichen, räumlichen und sozialen Kontext statt, den die Evaluatoren2 sich zu verstehen vorgenommen haben. Die Evaluation wird damit selbst zu einem Element des Feldes und hat sich reflexiv und praktisch darauf einzustellen. Die beobachtenden Evaluatoren werden selbst ständig kritisch beobachtet und müssen dies in ihr Vorgehen einplanen. Allein schon deshalb weiß man als Evaluator nie genug, wenn man ins Feld geht. Die qualitative Evaluation macht aus dieser Not eine Tugend: Evaluatoren verstehen und verhalten sich grundsätzlich als Lernende, allerdings als solche, die gelernt haben, wie Lernprozesse strukturiert und angeregt werden können. Von daher wird auch verständlich, warum qualitative Evaluationen meist die Form von Fall-Studien mit einer Vielzahl verschiedener Typen von (Zwischen-)Ergebnissen annehmen. Die qualitative Evaluation geht davon aus, dass die verschiedenen Beteiligten(-gruppen) und Interessenten von unterschiedlichen Situationsdefinitionen ausgehen und 2

Wir verwenden in diesem Text aus Lesbarkeitsgründen und vor allem, weil wir uns ausführlich auf ein Evaluationsprojekt beziehen, in dem nur ein Evaluator beteiligt war, durchgängig die männliche Form.

2

sich danach in ihrem Handeln ausrichten. Man hat es somit grundsätzlich mit multiplen Realitäten zu tun. Defizitanalysen, Programmziele und Erfolgskriterien können sich je nach den beteiligten „Stakeholders“ eminent unterscheiden. Es gibt so gesehen keine abstrakten und kontextfreien Evaluationskriterien. Die qualitative Evaluation kann sich auf diese Situation dadurch einstellen, indem sie die Übereinstimmungen und Widersprüche der verschiedenen Vorstellungen von Effektivität und Effizienz markiert, und entsprechende Vereinbarungen der Beteiligten einfordert. Einigkeit unter qualitativen Evaluatoren besteht darüber, •

dass nicht nur die Außensicht, sondern auch die Selbstbewertung der evaluierten Einrichtungen und Personen zu berücksichtigen ist,

•

dass Evaluationen responsiv sein, d.h. auf die Bedürfnisse des Feldes antworten sollten,

•

dass sie eher Prozesse begleiten und Lernen unterstützen als deren Resultate beurteilen oder gar richten sollten, und vor allem,

•

dass Evaluatoren nicht in der Position eines neutralen, außen stehenden Beobachters verharren sollen (und können), der hin und wieder einmal „hereinschneit“, sondern in einer professionell disziplinierten Weise involviert und beteiligt sein müssen.

Qualitative Evaluation bedeutet daher im wesentlichen begleitende Evaluation. Das bei einem solchen Vorgehen unvermeidliche Involviertsein stellt sowohl die organisierte Evaluation wie die evaluierte Organisation vor neue Anforderungen und verstrickt sie in wechselseitige Abhängigkeiten. Die begleitende Evaluation kommt bestimmten Tendenzen in sozialen Dienstleistungsorganisationen entgegen: auch soziale Einrichtungen versuchen sich zunehmend an dem Leitbild einer flexiblen und lernenden Organisation zu orientieren. Daraus ergeben sich bestimmte Anforderungen an ein Evaluationsdesign und an die Gestaltung der Beziehung zwischen Evaluation und Organisation. Die neuen Anforderungen an Evaluation gehen dabei weit über rein methodische Fragen hinaus: •

Es entsteht erhöhter Bedarf an kürzeren, auf spezifische Projekt-ManagementFragen bezogenen formativen Studien. Diese lösen mehr und mehr die summativen Programmevaluationen ab.

•

Es kommt verstärkt zu Kooperationen zwischen der Evaluation und dem Projektmanagement. Zum Teil wird die Evaluation - etwa als Stabsstelle – sogar ins Ma3

nagement integriert. Dem korrespondiert eine Entwicklung hin zu mehr interner Evaluation. •

Weil man jetzt mit den Abnehmern der Evaluationsergebnisse unmittelbarer und häufiger konfrontiert ist, stellt sich die Rezeptions- und Transferfrage eindringlicher als früher. Evaluatoren müssen zunehmend Marketing für ihre Anstrengungen betreiben. Sie sind darauf angewiesen, ihre Produkte zu verkaufen, und müssen dabei realisieren, dass es hier Märkte mit Sättigungsgrenzen - nämlich der Aufnahmebereitschaft und Aufnahmefähigkeit - gibt.

•

Mit zunehmender Nähe zum Feld drängt sich für Evaluatoren die Frage auf, ob Parteinahme und Empfehlungen nicht doch (und ggf. bis zu welcher Grenze) als integrale Bestandteile ihres professionellen Handelns anzusehen sind. Durch Konfrontation mit ganz verschiedenen “Stakeholders” bei gleichzeitigem Einbau in hierarchische Strukturen wird es für Evaluatoren zugleich schwieriger ihre Neutralität glaubhaft zu machen.

•

Die zu evaluierenden Einrichtungen und Programme leben in immer turbulenteren Umwelten. Die Rahmenbedingungen der zu evaluierenden Vorhaben ändern sich daher ständig und in schwer vorhersehbarer Weise. Projektergebnissen veralten schneller und darauf bezogene Evaluationsberichte bilden oft einen Zustand ab, der zum Zeitpunkt ihrer Vorlage schon gar nicht mehr besteht.

2. Ein Beispiel: Begleitende Evaluation einer Reorganisation im Bereich Erziehungshilfe Wir möchten versuchen dieses neue Verhältnis von Evaluation und Organisation sowie die daraus sich ergebenden Folgerungen an einem Beispiel schlaglichtartig zu beleuchten. Wir beziehen uns dabei auf ein komplexes Evaluationsprojekt, das über einen Zeitraum von 2 Jahren von einem der Autoren (T.S.) in einem großstädtischen Jugendamt Süddeutschlands durchgeführt wurde. Mit diesem sog. „HzE-Projekt“ (Hilfen zur Erziehung) sollte eine tiefgreifende Umsteuerung der angebotsorientierten Erziehungshilfe erreicht werden (vgl. Früchtel u.a. 2001). Aus der standardisierten, Fälle produzierenden, die teure Fremdunterbringung fördernden und die Beziehungen zum Umfeld kappenden Hilfe, sollte eine „partizipative, flexible, ressourcenorientierte Hilfe“ werden, die sich primär an der Nachfrage der Hilfesuchenden orientiert. Das Vorgehen der Evaluation war methodisch stark am Modell der teilnehmenden Beobachtung (vgl. Wolff 2000) orientiert. 4

Der Evaluator stieg als Fachfremder zu dem Zeitpunkt in diesen Reformprozess ein, als die ersten Umsetzungen der Projekt-Philosophie bereits Fuß fassten. In einem Bezirk waren vier sog. „Stadtteilteams“ installiert, die sich einerseits aus Mitarbeitern des einen gebietszuständigen Erziehungshilfeträgers und andererseits aus den Sozialen Diensten des Jugendamtes (Allgemeiner Sozialer Dienst plus Wirtschaftliche Hilfen) zusammensetzten. Die Teams arbeiteten organisations- und professionsübergreifend, was einerseits den Reiz und andererseits die zentrale Herausforderung des Projektes ausmachte. Unter den Mitarbeitern wurde „das Experiment“ bereits angeregt diskutiert. Es herrschte eine gewisse Aufbruchstimmung, zugleich aber bestanden anhaltende Zweifel an seiner Durchführbarkeit, hinsichtlich der zu gewärtigenden Verwerfungen und generell bezüglich seiner Praxistauglichkeit. Die Mitarbeiter hatten sich mit neuen Rollendefinitionen, Formularen, Hilfeplanverfahren, Arbeitsnachweisen und ungewohnten (flexiblen) Hilfe-Settings auseinander zu setzen bzw. diese selbst erst noch zu erfinden. Etablierte Strukturen waren mit Vehemenz aufgebrochen worden. Die bestehenden Tagesgruppen (sowie andere feste Angebote) hatte man aufgelöst, um die nötigen Aufnahmekapazitäten für die einzelfallspezifischen, nachfrageorientierten Hilfen freizusetzen. Stationäre Gruppen öffneten sich für Familienhilfen, während Familienhelfer stärker als bisher in Teamstrukturen und Fachöffentlichkeiten eingebunden wurden. In den Stadtteilteams diskutierten die Fachleute ihre Fälle, und zwar nach festgelegten Ablaufschemata, welche die “Ressourcenschau“ und den Blick auf das zu nutzende Lebensumfeld ins Zentrum rücken sollten. Das Projekt war also bereits in vollem Gange, auch wenn das Gros der Praxisprobleme sowie die möglichen Bearbeitungsweisen erst noch ins Blickfeld geraten sollte. Im folgenden lassen wir den Evaluator, Thomas Scheffer, selbst zu Wort kommen: Ich startete meine Amtszeit mit zwei je einmonatigen Hospitationen beim ASD und bei einem Erziehungshilfeträger. Wie ein teilnehmender Beobachter saß ich in den Amtsstuben, kam mit auf Hausbesuche, verfolgte die Sprechstunden, nahm teil an den Teamsitzungen, war dabei in der Spielgruppe, bei der Schulaufgabenhilfe, bei Hilfekonferenzen in Heimen „weit draußen“. Zusätzlich führte ich ethnographische, bzw. an Arbeitssituationen anknüpfende Expertengespräche, um mir ein Bild von den betreffenden Arbeitsweisen zu machen. Ich landete schließlich selbst in einem Stadtteilteam und nahm über den Zeitraum eines Jahres an den Fallbesprechungen teil. Ich lernte durch die Fall-Debatten das „sozialarbeiterische Denken“ kennen; d.h. die Formen und Methoden, in denen Probleme identifiziert, zugeschnitten, dargestellt und angegangen werden. Ich wurde über den gesamten Zeitraum von 2 Jahren mit den Stadtteilteam-Protokollen aller Teams und mit allen Hilfekontrakten versorgt. Dies versetzte mich in die Lage, Fälle in ihrer Entwicklung zu verfolgen, die Bandbreite der Arbeitsweisen und Problemlösungen zu beobachten, sowie festzustellen, ob und wenn, in welche Richtungen sich die Teams nach und nach entwickelten bzw.

5

verselbstständigten. Ich lernte Erziehungshilfe-Fälle nicht nur persönlich kennen, sowie gewann auch Einblick in deren sozialarbeiterische und amtliche Repräsentation in Akten und Sitzungen. (Vgl. Scheffer 2001b) Ich wurde mehr und mehr ins Feld verwickelt und erfuhr auf diese Weise die Potentiale und Restriktionen des Reformprojektes hautnah. Mir wurden Probleme zugetragen und Anpassungsschwierigkeiten anvertraut. Die Rede war von Ängsten, Unsicherheiten und Zumutungen (etwa: wiederholte interne Arbeitsplatzwechsel). Mitarbeiter erläuterten mir die Vorteile gegenüber der herkömmlichen Erziehungshilfe und schwärmten von den neuen Freiheiten und Gestaltungsmöglichkeiten. Ich vernahm die unterschiedlichsten Deutungen, worum es sich bei dem Projekt „eigentlich“ handele: vom (politischen) „wieder ne Idee, Geld zu sparen“, zum (humanitären) „endlich das Kind in den Mittelpunkt stellen!“, bis hin zur (coolen/effizienten) „Professionalisierung und der sozialen Arbeit“. Meine begleitende Evaluation war durch einen vielschichtigen Dialog zwischen mir und den Fachkräften vor allem des mittleren Managements und des sog. „Bodenpersonals“ geprägt. Der Dialog zwischen dem Feld und mir wurden in den folgenden Gremien und auf folgenden Ebenen institutionalisiert. (1) Durch die Teilnahme an den Stadtteilteams, bei denen die „von oben“ kommenden Anforderungen und Probleme bearbeitet wurden. (2) Durch die Einrichtung einer AG-Evaluation, die mich vor allem beim Einsatz von Erhebungsinstrumenten (von der teilnehmenden Beobachtung bis zur Klientenbefragung) und bei der Vermittlung der Resultate beriet. (3) Bei den teilnehmenden Beobachtungen selbst, welche die Grundlage für persönliche Beziehungen mit Fachkräften vor Ort und für deren kritische Rückmeldungen von neuen Projektprogrammen oder meinen Ergebnissen schufen. (4) Bei den Evaluationsworkshops, Trainings und Plenumveranstaltungen, bei denen die Sorgen, Nöte und Zweifel der Basiskräfte zur Sprache kamen und Vorschläge zur Flankierung des Projektes gemacht wurden sollten. (5) Durch die Teilnahme an den Leitungssitzungen, bei denen die kritischen Punkte des Projektes explizit (oder doch zumindest implizit) behandelt wurden. Hier erwarb ich Einblicke in die komplexe Erziehungshilfelandschaft und lernte die „Philosophie“ des Projektes sowie jene Ideen kennen, die hinter den diversen Steuerungsversuchen standen. Erst nach einem halben Jahr konnte ich mich mit dem ersten von insgesamt sechs Evaluationsberichten zurückmelden. Über eine Art „Evaluationsbeirat“ stellte ich meine Ergebnisse (der erste Bericht diskutierte die bislang wenig erbaulichen Versuche „fallunspezifischer Arbeit im Lebensfeld“) in einem Workshop den Mitarbeitern und danach im Leitungsgremium zur Diskussion. Es folgten turnusmäßige Berichte zu den Fallbesprechungen im Stadtteilteam (mit Vorschlägen zu ihrer möglichen Rolle für die Hilfeplanung, vgl. Scheffer 2001c), zum Sinn und Unsinn der gängigen Fall-Dokumentation (mit Vorschlägen zur Informationspolitik), zur Ausgestaltung der Hilfekontrakte (mit Vorschlägen zur Rollenverteilung und zur kollegialen Selbst-Hilfe), zur Messbarkeit der Qualität geleisteter Hilfen (mit Vorschlägen zum Controlling und einem Leistungsbonussystem) und zur Arbeitsverteilung beim ASD (mit Überlegungen z.B. von Strassen- auf Teamzuständigkeit umzuschalten).

3. Evaluation als Zumutung Ein Evaluator, der länger bleibt, stellt für eine Organisation und ihre Mitglieder eine ungewohnte Zumutung dar. Er produziert nicht, sondern beobachtet nur. Er löst keine Probleme, sondern erfindet möglicherweise zusätzliche. Er ist von oben geschickt, um – keiner weiß es genau – die Regelbefolgung zu kontrollieren. Er hilft nicht bei der Arbeit, sondern verursacht eher noch zusätzliche. Er beantwortet keine drängenden Fragen, sondern stellt immer nur noch neue. Der Evaluator sieht sich daher schon beim Einstieg mit gewichtigen Legitimationsproblemen konfrontiert. Dazu ge6

sellt sich die notorische Neigung vieler Organisationsmitglieder, sich selbst für ausreichend reflektiert und „fachlich“ zu halten, um die Evaluation gleich mit erledigen zu können. Zum Amtsantritt legte mir ein „Arbeitskreis-Evaluation“ (dies war ein Kreis von Interessierten in Schlüsselpositionen) eine Reihe bereits fertiger Evaluationskonzepte und –schemata vor. Abgefragt werden sollten alle möglichen Eigenschaften des Falles und seiner Behandlung, um so zu einer „Kritik der Hilfe“ zu gelangen. „All das muss nur mal gemacht werden!“, hieß es erwartungsvoll. Die Vorstellung des Arbeitskreises war eindeutig: Endlich haben wir den Mann, der alles das ausarbeitet, wofür uns in der Praxis neben all den anderen Aufgaben keine Zeit bleibt.

Im Vergleich zu den angelsächsischen Ländern fällt in der deutschen sozialpädagogischen und insbesondere in der sozialarbeitswissenschaftlichen Evaluationsdiskussion die starke Betonung der Selbstevaluation auf (vgl. Heiner 1998). Dies wird nicht selten verbunden mit einer Stilisierung des Gegensatzes zwischen Selbstevaluation als dem Inbegriff methodischen Arbeitens auf der einen und professioneller Evaluation, als einer von außen kommenden, im Grunde entfremdenden Tätigkeit auf der anderen Seite. Die Selbstevaluation gilt im Vergleich zur Fremdevaluation als die angemessenere, sensiblere und für die Bedürfnisse der Mitarbeiter aufgeschlossenere Vorgehensweise.3 Auch begleitende Evaluatoren geraten von daher als von außen kommende und vermeintlich fachfremde Beobachter4 leicht in Verdacht, die Praxis nach unpassenden Standards zu beurteilen, ihrer Komplexität nicht gerecht zu werden und auf diese Weise die erworbene Fachlichkeit eher zu bedrohen, denn fort zu entwickeln. In gewisser Weise überträgt sich hier die Kritik an der Ergebnisevaluation auf die neueren qualitativen und prozessbezogenen Evaluationsansätze, zumal diese bzw. die diesbezüglichen Unterschiede unter den Mitarbeitern in sozialen Diensten nach wie vor kaum bekannt sind. Von daher kann man im Sinne einer qualitativen Evaluationsstrategie nur davor warnen, das eine Extrem (traditionelle Ergebnisevaluation) gegen das andere (Selbstevaluation) auszuspielen, zumal im Zuge begleitender Evaluation selbstverständlich immer wieder auch auf selbst-evaluative Elemente zurückgegriffen wird, insofern diese notwendiger, aber eben keineswegs hinreichender Bestandteil organisatorischen Lernens sind. 3

Dabei agiert die Selbstevaluation in der Praxis – oft notgedrungen aufgrund von Zeit- und Kompetenzmängeln – mit standardisierten und pauschalisierenden Formen der Datenerhebung, die eher an das Berichtswesen als an eine fokussierte Evaluation erinnern. 4 Trotz einiger Forschungserfahrung im Bereich sozialer Organisationen und ihrer Verfahrensweisen (vgl. Scheffer 1995, 2001a) und eines entsprechend ausgerichteten sozialwissenschaftlichen Studiums fehlte mir doch der spezifische professionelle „Stallgeruch“ eines Pädagogen oder Sozialarbeiters.

7

4. Der Anwendungsbezug Konstitutiver Bestandteil jeder Evaluation ist die Rückmeldung der erzielten Ergebnisse an definierte Auftraggeber. Für die begleitende Evaluation stellt sich allerdings das Darstellungs- bzw. Vermittlungsproblem nicht unwesentlich anders dar als für nachträgliche Ergebnisevaluationen. Während deren Abschlussberichte, wenn überhaupt, eher von Projektfinanziers und der Leitungsebene gelesen werden, kommen die Zwischenberichte der begleitenden Evaluation vermehrt ins Blickfeld jener, deren Arbeit unmittelbar oder mittelbar untersucht wurde. Mit der Praxisnähe und dem Engagement der Evaluatoren steigt das Risiko, dass sich die Praktiker kontrolliert oder gar persönlich angegriffen fühlen und mit Abwehr und Versuchen der Ausgrenzung der Evaluation reagieren.5 Um dem entgegenzuwirken wählte ich für die Rückmeldung meiner Beobachtungen die Form konstruierter, aber gleichwohl „aus dem Leben gegriffener“ Lehrbeispiele. Es sollten die Wirkungen der jeweiligen Arbeitsschritte im Hilfeprozess deutlich werden: An welchem Punkt finden Eltern oder Jugendliche mit ihrem Anliegen beim ASD Gehör? Wann gibt der ASD-Mitarbeiter den Fall ins Team und wann hält er ihn zurück? Wann gilt ein Fall als ausreichend besprochen? Wie werden die Besprechungsergebnisse in die späteren „Hilfekontraktgespräche“ transportiert? In der Praxis fanden sich taugliche Prototypen, die sich als Vorbilder der Problembearbeitung zur Konzeptentwicklung eigneten – und die in dieser Weise nie und nimmer geplant werden könnten.

Ein Aspekt der Anwendungsbezogenheit von Evaluation besteht darin, dass professionelle Evaluatoren im Auftrag primärer Projektbeteiligter und damit als Dienstleister tätig werden. Als solche können sie keineswegs nach Gutdünken zweckfreie oder parteiliche Forschung betreiben. In Analogie etwa zu einer Organisationsberatung ist zur Abwicklung einer Evaluationsmaßnahme die Installierung eines eigenen Handlungs-Systems notwendig, für das zwischen den Evaluatoren, den Auftraggebern und Beteiligten verbindliche Regelungen, Absprachen und Zeithorizonte zu vereinbaren sind. Gerade eine relativ unstandardisierte Form von Evaluation bedarf solcher Formen, um Verlässlichkeit und Erwartungssicherheit zu gewährleisten. Die Abnehmer müssen wissen, was sie wann zu erwarten haben - und was nicht. Es gilt sich möglichst frühzeitig auf eine detaillierte Liste an Evaluationsthemen und auf einen verbindlichen Zeitplan zu einigen, um so nicht nur für die nötige Transparenz zu sorgen, sondern zugleich auch unrealistische Ansprüche hinsichtlich der Möglichkeiten der Eva5

Die Evaluation nimmt immer auch, ob gewollt oder nicht, ob explizit oder nur in der Phantasie der Beteiligten, eine Kontrollfunktion wahr. Dies gilt womöglich gerade für unsere Form der begleitenden Evaluation, insoweit sie detaillierte Einblicke in den Projektalltag möglich macht.

8

luation frühzeitig abzuwehren. Es muss für alle Beteiligten klar sein und bleiben, was dem Evaluator zugemutet werden kann. Es muss zudem geklärt werden, wie viel Evaluation die Organisation zu kommunizieren und verarbeiten bereit ist. Daraus folgt übrigens, dass die Sicherstellung der Nutzbarkeit der Evaluation und ihrer Ergebnisse zu einem nicht unerheblichen Teil in der Verantwortung der Auftraggeber bzw. Abnehmer verbleibt. Auch wenn es paradox klingt, ein wesentlicher Schritt zur Verselbständigung der Evaluation bestand darin, ihren Fortgang konsequent von Gremienentscheidungen abhängig zu machen. Als Evaluator legte ich nach einer Orientierungszeit von 2 Monaten im Praxisfeld ein Evaluationskonzept vor, dass im wesentlichen aus einem noch relativ allgemeinen Untersuchungsdesign bestand. Ich zeigte meinen Zugangs- und Materialbedarf an, und entwickelte didaktische Überlegungen, wie Evaluation und Praktiker ins Gespräch kommen sollten. Schrittweise wurde das Konzept dann um Themen und eine Terminplanung erweitert. Ein wichtiger Effekt der Diskussion des Evaluationskonzeptes bestand in der Vereinbarung eines Verfahrens zur Beauftragung des Evaluators. Es wurde eine feste Themenliste verabschiedet, was spontane Beauftragungen durch Vorgesetzte verunmöglichte. Neue Themen konnten nur vom Evaluator oder durch das Leitungsgremium eingebracht werden. Im Falle, dass man sich gemeinsam entscheiden sollte, ein zusätzliches Thema anzugehen, musste ein anderes Thema dafür weichen. Festgelegt wurde außerdem, wie Ergebnisse zurückzumelden sind. So wurde beschlossen, dass die Resultate sowie Ort, Zeit und Form ihrer Präsentation zunächst mit den begleiteten Praktikern diskutiert und erst hernach projektöffentlich gemacht werden sollten. Auf diesem Wege konnten meine Missdeutungen korrigiert und den Leitungsgremien erste praktische Lösungsvorschläge oder Einschätzungen zur Machbarkeit vorgelegt werden. Die „AG Evaluation“ managte diesen Einspeisungsprozess – und sorgte ganz nebenbei für die wirkungsvolle Interessenvertretung der Evaluation auf den verschiedenen Hierarchieebenen der beteiligten Organisationen.

Gerade weil ihnen das Prinzip der Offenheit und Transparenz so am Herzen liegt, tendieren qualitative Evaluatoren dazu die Empfänger ihrer Botschaften mit Daten zu überhäufen. Diese Form der gut gemeinten „Ehrlichkeit“ fördert aber vielfach weniger die Aufklärung, als sie provoziert Frustration, Widerstand oder zumindest ironische Bemerkungen über die Unerfahrenheit des betreffenden Evaluators in organisatorischen Belangen provoziert. Die Verarbeitungskapazität des Projektes wie der Organisation als ganzer für die Informationen der Evaluation richtig einschätzen zu können, ist eine zentrale Voraussetzung dafür, dass der Evaluator nicht für den Papierkorb produziert. In unserem Fall verlängerte sich der Rhythmus der Präsentationen von anfangs drei über vier auf schließlich fünf Monate. Auf der anderen Seite muss der Evaluator ein Interesse daran haben, Themen zügig zu erledigen und zurück zu geben. Dies hilft, ihm sich von organisationsinternen Auseinandersetzungen und ihrer Dynamik abzukoppeln und klar zu stellen, dass die Verantwortung für die Umsetzung der Projektergebnisse bei den zuständigen Lei-

9

tungskräften liegt, und eben nicht stillschweigend der Evaluation zu- bzw. dorthin abgeschoben werden kann.

5. Eigen-Evaluation versus professionelle Evaluation Oft wird übersehen, dass in Projekten der Organisationsentwicklung neben der professionellen Evaluation auch wichtige eigen-evaluative Tätigkeiten vorkommen.6 Gerade vor dem Hintergrund einer qualitativen Grundhaltung werden professionelle Evaluatoren sinnvoller Weise versuchen, diese eigen-evaluativen Tätigkeiten zu unterstützen, sie arbeitsteilig zu vernetzen und nutzbar zu machen. Eigen-Evaluation gibt es auf •

der Ebene der Projektgruppen, die durch Moderatoren bzw. Berater angeleitet werden. Hier bringen Protokolle, Seminarbewertungen, "Blitzlichter", übernommene Arbeitsvorhaben etc. eine Vielzahl eigen-evaluativer Elemente in den routinemäßigen Betrieb;

•

der Ebene des Projektmanagements, das sich, um seine Aufgabe erfüllen zu können, immer wieder mit Fragen der Maßnahmenplanung, der Wiedervorlage und der Erfolgskontrolle beschäftigt;

•

der Ebene der Projektsteuerung, die sich über den Erfolg des Gesamtprojekts Gedanken macht und dabei nicht zuletzt die eigene Rolle prüft. Nebenbei ist dies letztlich die Ebene, auf der über den Erfolg der Evaluation als Maßnahme zu befinden ist.

Für jene dieser Ebenen lassen sich freilich auch die Grenzen der Eigen-Evaluation aufzeigen, deren Berücksichtigung und Reflexion für das Funktionieren des Projekts wie für den Erfolg der begleitenden Evaluation von entscheidender Bedeutung sind. Die vier Stadteilteams aus Sozialem Dienst (des Jugendamtes) und Erziehungshelfern (des gebietszuständigen Trägers) mussten über fallunabhängige Aktivitäten im Stadtteil, über Anregungen zu neuen Projektregelungen, sowie vordringlich über die „Falleigenschaft“ von individuellen, familiären oder schulischen Problemlagen entscheiden.7

6

Wir sprechen von Eigen-Evaluation und nicht von Selbst-Evaluation, um deutlich zu machen, dass die allgemeine Funktion der Evaluation in Projekten grundsätzlich in verschiedener und zum Teil funktional äquivalenter Weise wahrgenommen werden kann. Der Begriff der Selbstevaluation bezieht sich demgegenüber auf eine bestimmte Vorstellung von fachlich qualifiziertem und reflektiertem Arbeiten in der Sozialen Arbeit. Selbstevaluation wird als „systematische Nach-Denk- und Bewertungs-Hilfe“ verstanden, die „Handeln in Situationen reflektierbar, diskutierbar und somit auch kontrollierbar“ machen soll. (v. Spiegel 1993: 124) 7 Mit der Falleigenschaft ist die Übergabe vom Verfahren-verantwortlichen ASD zum Hilfeverantwortlichen Träger verbunden.

10

Ein wesentliches Mittel der Eigen-Evaluation bestand hier in der Protokollführung, die wiederum den Diskussionsgang anleiten und abbilden sollte. Gleich einem Leitfaden wurde das Team mit „Fragen an sich selbst“ durch die Fallbearbeitung geführt. Das Protokoll – und damit auch die Diskussion – musste bestimmte Angaben enthalten, um als angemessen zu gelten: Aussagen zu den Stärken der Familienmitglieder, zu den Ressourcen im Lebensumfeld, zum Fokus der Hilfe (mit dem Kind, mit dem Vater, mit der Lehrerin etc.), zu den Grenzen des Hilfeeinsatzes usw.. Der Diskussionsgang sollte für Anschlusssitzungen sowie für die gemeinsam Fallverantwortlichen nachvollziehbar sein. Diese Anforderung wurde allerdings bald als Zumutung empfunden und somit nur selten als Chance zur Qualifizierung der eigenen Arbeit genutzt. Ein anderes Mittel der Eigen-Evaluation ging mit Sonderrollen in den Teams einher. Neben der Diskussionsleitung sollte in jedem Team ein Mitglied aus der Projektleitung als „Projektanwalt“ vertreten sein. Diese „Wächter“ sollten den „Geist des Projekts“ repräsentieren und immer wieder an die Projektziele erinnern, sowie an den Sinn und Zweck der ganzen Unternehmung erinnern. Um ein Abnutzung dieser Rolle zu verhindern und sie betreffenden Personen nicht zu stark dem Druck der Gruppensolidarität auszusetzen, wurde die Rotation der Projektanwälte zwischen den Teams vereinbart.

Das konsequente Beharren auf der Differenz zwischen der professionellen Evaluation einerseits (d.h. den Personen und Institutionen, die dies betreiben, und deren Maßnahmen) und der Evaluationsfunktion im Projekt andererseits stellt ein wichtiges Element der Projektsteuerung dar. Das Verhältnis zwischen Eigen-Evaluation und professioneller Evaluation sollte immer wieder überprüft und bedarfsgerecht austariert werden. Es ist ein wesentliches Merkmal professioneller Arbeit immer präzise angeben zu können, für was man sich nicht oder nicht mehr zuständig fühlt. Gerade die oftmals hoch engagierten begleitenden Evaluatoren sollten sich immer wieder die Frage stellen: „Wozu benötigen das Projekt, seine Teilnehmer oder die Gesamtorganisation überhaupt (noch) professionelle Fremdevaluation“? Drei Szenarios - und deren Mischformen - markieren die betreffenden Spielräume: •

Szenario 1: Die Eigenevaluation ist fragil, sie braucht Führung und Organisation (die professionelle Evaluation erfüllt dann Management-Funktionen).

•

Szenario 2: Die Eigenevaluation ist eher fragil und benötig deshalb prozessorientierte Unterstützung (die professionelle Evaluation erfüllt hier Katalysator- und Beratungsfunktionen).

•

Szenario 3: Die Eigenevaluation ist eher stabil, aber sie ist nicht ausreichend systematisch und selbstreflexiv (die professionelle Evaluation erfüllt dann die Funktion der wissenschaftlichen Begleitung und Supervision).

In aller Regel verändert sich die Funktion der Evaluation im Projektverlauf. In jedem Fall scheint uns die dritte Funktion unverzichtbar. Die professionelle Evaluation etabliert nämlich eine eigene Beobachtungsebene, die von den Projekten zur Lokalisierung ihrer “blinden Flecken” wie zur Selbstreflexion genutzt werden kann. 11

Eine weitere Antwort auf die Frage “Wozu braucht man Evaluation?” lautet realistischerweise: “Weil man es heutzutage eben so macht!”. Die Rücksichtnahme auf institutionalisierte, und zum Teil gesetzlich verankerte Gebräuche dürfte für die konkrete Entscheidung über die Einrichtung und Dimensionierung von Evaluationsmaßnahmen oft ausschlaggebender sein, als die anderen genannten Funktionen.8 Daraus folgt, dass Projekte und Projektverantwortliche im Verlauf der Arbeit vielfach erst lernen müssen, was sie mit Evaluation anfangen können bzw. was sie von ihr zu erwarten haben.

6. Gründe für ein fehlendes Interesse an begleitender Evaluation Evaluation wird - gerade wenn sie prozessnah operiert - fast automatisch in das mikropolitische Ringen um Wissen, Information und Prestige verwickelt. Evaluationsberichte sind oft die einzig verfügbaren Spuren dessen, „was vor Ort los ist“, was von einem Projekt „unten ankommt“ und darüber, ob bzw. wie ein Projekt „lebt“. Dies lässt solche Berichte zu relevanten Informationsquellen für höhere wie für außen stehende Stellen werden: für Manager, Planer, Geldgeber und Aufsichtsbehörden, ebenso wie für Kollegen, die selbst nicht im Projekt involviert sind. Gerade dieses Schaffen von (Organisations-)Öffentlichkeit macht Evaluation bei den Evaluierten verdächtig und unter Umständen sogar gefürchtet - als eine Art des Ausspionierens „von uns hier unten“.9 Ein solche Ambivalenz findet sich gleichermaßen im Hinblick auf die Rezeption von Evaluationsergebnissen, die oft zwischen positiver Neugier und dezidierter Abwehr schwankt. Ein und derselbe Bericht löste völlig konträre Reaktionen aus. In einem Gebiet wurde er von vornherein als Chance wahrgenommen, über Schwachstellen im Konzept und über Unvereinbarkeiten mit bzw. in der Praxis nachzudenken. Im anderen Gebiet ging es dagegen um Fragen des individuellen Scheiterns. Die Reaktionen wechselten entsprechend zwischen Verteidigung („Andere machen das aber auch so!“ oder „So was wie im Bericht steht, gibt es bei uns nicht!“), Rückzug („Soll der doch schreiben!“) und konstruktiver Nachdenklichkeit („Das kann auch uns passieren! Aber, wie kommen wir damit zurande?“). Die Evaluationsergebnisse wurden nur dort als Lernmittel genutzt, wo Fehlerfreundlichkeit und Veränderbarkeitswillen glaubhaft von Seiten der Leitung und relevanter Multiplikatoren propagiert wurden. Der direkte Gebietsvergleich unterstrich für mich, dass ich das Einspei8

Erhellende Einsichten dazu vermitteln Brunsson/ Olsen (1993) und Bogumil/ Kißler (1998). So wurde ich des öfteren gebeten, Teile von Berichten zurückzuziehen, weil diese oder jene Beschreibung die lokale Praxis in ein falsches Licht rücke. Diesbezüglich half es auch nichts, dass ich darauf hinwies, dass alle Beschreibungen über Fallbearbeitungen anonymisiert und als Lehrbeispiele konstruiert seien. Im Gegenteil: meine Beteuerungen waren nur Anlass zu weiteren Vermutungen und Irritationen. 9

12

sen des Berichts selbst, d.h. den zeitlichen Vorlauf, die Strukturierung des Präsentationsworkshops, und die Präsentation selbst, viel ernster nehmen musste.

Neben der gesteigerten Aufmerksamkeit (aufgrund von Neugier oder allerlei Befürchtungen) findet sich auch die gegenteilige Erfahrung. Evaluatoren müssen häufig erkennen, dass relevante Mitspieler an ihren Diensten kein sonderliches Interesse zeigen. Die Evaluation wird mitunter schlicht vergessen. Für eine solche Miss-Achtung lassen sich verschiedene Gründe anführen. (1) Zum einen haben die beteiligten Insider gelernt, der Rhetorik von Organisationsreformen zu misstrauen. Sie wissen aus Erfahrung, dass entsprechende Verlautbarungen meist ein zu einfaches Bild der Realität, ihrer Veränderbarkeit und der Feststellbarkeit entsprechender Ergebnisse zeichnen. Im Erziehungshilfeprojekt wurden anfangs recht plakative Formeln bemüht, um das neue Verfahren der Hilfeplanung und seine Ausrichtung begreiflich und attraktiv zu machen. Statt „Konfektionsware von der Stange“ sollten nun „Maßanzüge“ geschneidert werden; nicht „Nachfrageorientierung“, sondern „Angebotsorientierung“ sollte dominieren; statt der Einrichtung sollte jetzt das „Lebensfeld“ in den Mittelpunkt rücken. Gegen diese holzschnittartigen Gegenüberstellungen regte sich bald Widerstand: „Früher war nicht alles verkehrt“, hieß es, und „“Was wissen diese Planer überhaupt schon, was wir vor Ort geleistet haben!“

In Wirklichkeit sind, wie jeder weiß10, Reformen keine linearen Prozesse, die von der Planung und Entscheidung bis zur Durchführung gradlinig auf das vorgezeichnete Ziel hin verlaufen. Sobald eine Reformabsicht bekannt wird, wird die Situation bekanntlich schon unübersichtlich. Es kommt zu Stellungnahmen dafür und dagegen, zu Festlegungen und zu Vorwegnahmen der verschiedensten Art. Es treten Verzögerungen auf und es stellt sich ein Hin und Her zwischen alten und neuen Vorstellungen ein. Die Reformabsicht muss in Anpassung an die sich ändernden Situationen immer wieder neu beschrieben und dabei oft unter der Hand modifiziert werden. Zudem operieren Reformer, wie erwähnt, schon aus Gründen des Projekt-Marketing mit holzschnittartigen Gegenüberstellung von Mängeln und Verbesserungsmöglichkeiten und tun so, als ginge es nur mehr noch um Änderung oder Nichtänderung eindeutig unhaltbarer in Richtung auf ebenso eindeutig wünschbare Zustände. Insoweit zu befürchten ist, dass sich die Evaluation eher an der Reformrhetorik als an der Reformwirklichkeit orientiert, lässt sich nachvollziehen, warum manche Beteiligte einen Evaluationsvorhaben mit Ablehnung, Skepsis oder zumindest mit einem Schuss Zynismus begegnen.

10

Oder bei Autoren wie Luhmann (2000) oder Brunsson/Olsen (1993) nachlesen kann.

13

(2) Ein zweiter struktureller Grund für die Miss-Achtung der Evaluation besteht in einem eigenartigen Paradox von Reformen in Organisationen. Eine erfolgreiche Reform zeichnet sich aus einer übergeordneten Perspektive nämlich nicht so sehr dadurch aus, dass sie ihre Ziele erreicht oder verfehlt, als dadurch, dass sie Bereitschaft und Bedarf für weitere Veränderungen schafft oder doch zumindest nicht gefährdet. Dies wiederum hat zur Voraussetzung, dass man allzu dezidierte Feststellungen zu den einzelnen Reform-Ergebnissen vermeidet und sich bei jedem neuen Versuch nicht allzu intensiv an den Umstand erinnert, dass und mit welchen Resultaten ähnliche Versuche schon früher unternommen worden waren. Evaluationsvorhaben, welche die Rhetorik der Reform zu wörtlich nehmen, gefährden so gesehen möglicherweise einen späteren Neu-Anfang oder schränken zumindest die verfügbaren Optionen ein. (3) Die gelegentliche Missachtung der Evaluation hat auch damit zu tun, dass Verwaltungsmodernisierung eben nicht jenes klinisch reine, rationale Verfahren11 ist, als das sie möglicherweise bei der Lektüre von KGST-Papieren erscheint. Solche Modernisierungsprozesse lassen sich vermutlich treffender als eine Folge von Wettspielen beschreiben, wo sich verschieden zusammengesetzte Mannschaften, auf unterschiedlichen Feldern treffen und nach wechselnden und nicht ganz eindeutigen Regeln um die Durchsetzung ihrer z.T. sehr unterschiedlichen Ambitionen kämpfen: die Politiker im Rat, die Verwaltungsspitzen, die Amtsleiter, die Personalvertretungen, das mittlere Management, die Beschäftigten an der Basis, die institutionellen Kooperationspartner und last but – oft - least die betroffenen Bürger. Kompliziert wird das Bild noch durch schwer berechenbare Akteure von außerhalb, zu denen neben Organisationsberatern und Evaluatoren, die KGST und andere interessierte Öffentlichkeiten zählen, bei denen bisweilen nicht klar ist, ob sie als Zuschauer, Spieler oder Schiedsrichter fungieren. Alle diese verschiedenen Perspektiven zusammen zu bringen, mag vielleicht der Traum mancher hoch gestimmter qualitativer Evaluatoren (und Projektmanager) sein. An der praktischer Umsetzung dieses Traums besteht aber auf Seiten der „Stakeholders“ wenn überhaupt, dann nur ganz selten wirkliches Interesse. (4) Ein weiterer Grund für die Vernachlässigung von Evaluation mag schließlich darin zu suchen sein, dass Praktiker bereits zwiespältige Erfahrungen mit Evaluationen 11

Gerne verwandt wird in diesem Zusammenhang die Metapher des “Experiments” oder des „ModellVersuchs“.

14

gesammelt haben. Tatsächlich gibt es reichlich Beispiele arbeitsintensiver und gleichwohl unergiebiger Evaluationen, die Ernüchterung bis hin zur habitualisierten Abwehrhaltung zur Folge haben. Zu viele zu groß angelegte Evaluationen (vor allem summativer Art) haben dem Glauben an einen Lerngewinn durch Evaluation Abbruch getan. Potentiell bereitet jede aktuelle den Boden für eine nachfolgende Evaluation – oder entzieht ihr denselben. Entsprechend haben Evaluatoren eine Verantwortung der eigenen Zunft gegenüber, aber auch einen „allgemeinen Bildungsauftrag“ hinsichtlich dessen, was professionelle Evaluation ausmacht. Im Jugendamt waren die Vorstellungen bei Management und Basis dazu, was und wie evaluiert werden sollte, für die begleitende Evaluation wenig hilfreich. Dies lag nur zu einem geringeren Teil an mangelnden forschungsmethodischen Kenntnissen. Wichtiger war das Unverständnis hinsichtlich der Möglichkeiten und Unmöglichkeiten evaluativen Vorgehens überhaupt. In einigen Unterprojekten entstanden Disproportionen durch die Suche nach „großen“ Kausalitäten. Man setzt sich z.B. das Ziel heraus zu finden: „Warum sind die Langzeitfälle so geworden?“, statt kleiner zu fragen: „Welche Funktionen übernehmen wir Sozialarbeiter in langen Hilfebeziehungen im Familiensystem (und wollen wir diese wahrnehmen)?“ Typisch war der Wille, ein möglichst umfassendes Wissen über den jeweiligen Fall zu sammeln, ohne die jeweilige Relevanz der Daten anzugeben.12 Vielfach wurden Fragen formuliert ohne sich Gedanken über Möglichkeiten ihrer Operationalisierbarkeit und forschungspraktischen Umsetzung zu machen. In einem hausinternen Projekt zur gezielten Sprachförderung wurden Erzieher/innen per Fragebogen befragt: „Wie war das Sprachverhalten des Kindes vor und nach der Förderung?“. Eigen-Evaluation von Projekten zeichneten sich häufig durch einen starken politischen Impetus aus. Es wurden Fragen passend zu den Projekt-Motiven gestellt, um durch Eigen-Lob eine weitere Projektförderung sicherzustellen. Ein weiteres Merkmal unergiebiger Evaluation ist das bloße Aufzählen der beschlossenen Maßnahmen. Es wird auf Nachfrage „von oben“ lediglich der Vollzug gemeldet, ohne näher auf die Art und Weise einer (möglichen) Umsetzung der Ergebnisse einzugehen.

Die professionelle Evaluation kann durchaus zur Qualitätssicherung der EigenEvaluationen beitragen. Derlei Evaluations-Checks sollten sich freilich auf methodische Fragen bzw. auf das Untersuchungsdesign beschränken; also auf die genauere (Er-)Klärung des Zusammenhangs von Evaluationsfragen, Datenerhebung, Erhebungsaufwand, Erkenntnisgewinn und Vermittelbarkeit im jeweiligen Projektzusammenhang. 7. Wirkungsgrenzen Ihre Gegenstands- und Prozessnähe verführt manche qualitative Evaluatoren zu dem irrigen Glauben, sie könnten und sollten das Lernen der Organisation nach ihren

12

Diese Art des Umgangs mit Informationen ist im übrigen ein in Organisationen durchaus typisches Verhalten (vgl. Feldman & March 1981).

15

Vorstellungen und Erkenntnissen formen.13 Dabei verkennen sie jedoch bestimmte strukturelle Wirkungsgrenzen der Evaluation. Wir meinen damit nicht nur den Umstand, dass in der Organisationspraxis das „Lob der Routine“ dominiert, dass eingespielte Prozesse grundsätzlich schwer und oft nur zeitweilig zu irritieren sind, oder dass Richtungsänderungen nachhaltiger Bemühungen bedürfen und für ihr Glücken auf günstige organisationspolitischen Konstellationen angewiesen sind. Die strukturellen Wirkungsgrenzen der Evaluation sind durch ihre vergleichsweise randständige Positionierung bedingt, wobei diese Randständigkeit sie andererseits überhaupt erst in die Lage versetzt, andere, d.h. irritierende Beobachtungen zu machen, die der Organisation und dem Projekt zumindest so nicht zugänglich sind. Die begleitende Evaluation ist grundsätzlich nur mit Projekten, Programmen oder Modell-Versuchen und dem, was dort passiert, befasst. Die Verbindung der Projektpraxis mit der allgemeinen Organisationsentwicklung ist aber keineswegs eindeutig und zwangsläufig. Projekte können ein munteres Eigenleben entwickeln, welches die Organisation als ganze völlig unberührt lässt, und dazu führt, dass voneinander schlicht keine Kenntnis genommen wird. Manche Projekte geraten so zu Spielwiesen, auf denen Neues erprobt werden, dann aber dort auch ohne Konsequenzen verbleiben kann. Externe wie interne Evaluatoren vermögen wohl Anstöße zu geben, Irritationen auszulösen und Argumentationshilfen bereit zu stellen. Sie befinden sich aber nicht in der Hierarchie-Linie oder in einer anderen Machtposition, um diese Impulse umsetzen zu können – und die Konsequenzen dieser Umsetzung verantworten zu müssen. Sich einerseits die Grenzen der eigenen Wirksamkeit vergegenwärtigen, andererseits von außen zugemuteten Verantwortlichkeiten gegebenenfalls als Aufgaben anderer Beteiligter, insbesondere der Leitungsebene, markieren zu können, gehört zur Professionalität von Evaluatoren. Indem die Evaluation auf ihre Grenzen achtet, erleichtert sie es den anderen Beteiligten deren Rollen beizubehalten und zu erfüllen. Bei aller Responsivität und Feldnähe sollte deshalb die grundsätzliche Differenz zwischen Zielen der Evaluation und den Zielen der Arbeitsebene bzw. der Projekte nicht aus dem Blick geraten. Es spricht viel dafür, dass wirkliches “Empowerment” nur bei klar erkennbarer Differenz der Perspektiven und Verantwortlichkeiten funktioniert. Auch die begleitende Evaluation sollte auf einer eigenen und daher immer ein wenig 13

Eine solche Tendenz beobachten wir etwa bei der unter qualitativen Evaluationsforschern - zumindest programmatisch - recht populären „empowerment evaluation“ (vgl. Fetterman u.a. 1996).

16

„verfremdenden“ Perspektive beharren und diesbezüglich ausdrücklich um Verständnis werben (vgl. Amann/Hirschauer 1997). Solche aus professionellen Gründe notwendigen Grenzziehungen werden sonst leicht als Relativismus, Gleichgültigkeit oder Distanzierung missverstanden, was verbunden mit der Zumutung der Rückmeldung zu Blockaden und Abwehrreaktionen führen kann. 8. Evaluation als Modell für organisatorisches Lernen? Ein erfolgreiches Zusammenspiel zwischen der Evaluation, der Projektarbeit und der Organisation ist keineswegs selbstverständlich. Die Chancen dafür verbessern sich in dem Maße, in dem die Anerkennung und Einbindung der Evaluation in den Organisationsalltag glückt. Dies zeigt sich beispielsweise darin, dass die Bedürfnisse der Evaluation bei der Einführung organisatorischer Verfahrensregelungen, Checklisten, Formularen etc. mitbedacht werden. Andererseits sollte hier die Evaluation auch nicht von sich aus den Aufwand in die Höhe treiben, sondern Fremd- und Selbstevaluation, die Erfordernisse guter Aktenführung und eines brauchbaren Berichtswesen möglichst ressourcensparend zusammenführen. Gemeinsames Ziel sollte es werden, eine Kultur der Schriftlichkeit zu etablieren, die das Projekt auf den genannten Ebenen hinreichend informativ und verbindlich abbildet, und diese Daten auch für spätere Selbst- und Fremdbeobachtungen – und Lernprozesse - zugänglich macht. Die geforderte Dokumentation des Hilfeplanverfahrens erzeugte mitlaufend Anhaltspunkte für das Qualitätsmanagement der Arbeit vor Ort. So konnte anhand der Protokolle zur Teambesprechung die Art und Weise der Fallvorstellung durch den ASD rekonstruiert werden. Anhand der Hilfekontrakte zwischen Familie und Helfer ließ sich zeigen, ob und wie die Aufgaben zwischen den Beteiligten verteilt wurden. Anhand von Evaluationsfällen wurde das Qualitätskriterium der „arbeitsteiligen Hilfe“ entwickelt. Der Kontrakt solle, so die Forderung, von jedem Beteiligten zumindest einen festgeschriebenen Beitrag enthalten. Später stellte sich überraschenderweise heraus, dass von Seiten mancher Stadtteilteams phasenweise überhaupt keine Kontrakte dokumentiert (oder geschlossen?) wurden. Es schien eine Art Selbst- und Generalbeauftragung der Helfer vorzuherrschen. Das per Evaluationsbericht bemängelte Fehlen der Kontrakte bzw. der obligatorischen Dokumente sorgte für helle Aufregung in der Organisation: ein unabhängig von Evaluation funktionierendes Beobachtungssystem auf der Grundlage der Dokumentationspflichten hatte sich offenbar noch nicht etabliert. Auf diese Weise übernahm die Evaluation die „sachfremde“ Funktion einer Revision (und machte sich damit unbeliebt!).

Damit wären wir bei der Frage, welchen Beitrag die begleitende Evaluation dazu leisten kann, dass sich Einrichtungen über die begrenzten Projektphasen hinaus zu lernenden Organisationen entwickeln? Ein Problem bei der Beantwortung dieser Frage besteht darin, dass in der Organisationsforschung niemand so recht weiß, was lernende Organisationen eigentlich sind und wie bzw. wo Lernen in Organisationen ge17

nau zu verorten ist. Wir wollen gar nicht erst versuchen, den Flickenteppich der aktuellen theoretischen Angebote auszubreiten. Da in Organisationen gleichzeitig ganz verschiedene Lernprozesse ablaufen, mit unterschiedlichem Tempo und unterschiedlichen Effekten, ist eine allgemeine und gleichzeitig instruktive Lerntheorie der Organisation auch gar nicht zu erwarten. Vieles, was die Intelligenz einer Organisation, aber auch was die Kompetenz ihrer Mitglieder ausmacht, ist zudem implizites Wissen, das sich nicht durch dezidiertes Lernen, sondern eher über den allmählichen Erwerb einer bestimmten Sprache, Praxis und Organisationskultur aneignen lässt. Gerade in sozialen Einrichtungen und professionalisierten Berufen wird der Novize erst im Verlauf einer Art „Lehrzeit“ zum anerkannten Mitglied einer “community of practice” (Brown/ Duguid 1996). Das, worauf es dabei ankommt, ist nur zum Teil in Köpfen, Lehrbüchern oder Qualitätshandbüchern verortet und von dort abrufbar. Vieles mehr manifestiert sich darin, wie Kommunikationsprozesse ablaufen und welche Geschichten erzählt werden, in einem bestimmten Habitus oder auch darin, wie sich eine Organisation und ihre Mitglieder durch Entwicklungen innerhalb und außerhalb der Organisationen überraschen, irritieren und faszinieren lassen. In einen solchen komplexen Verständnis von organisatorischem Lernen kommt der Evaluation durchaus eine strategische Rolle zu: Nicht so sehr ihren konkreten Ergebnissen, wohl aber der Art und Weise ihres Vorgehens. Grundsätzlich spielt gerade eine begleitende Evaluation – anders als die Ergebnisevaluation - bei der Veralltäglichung der Projektarbeit eine wichtige Rolle. Einerseits setzt eine lernende Organisation eine einigermaßen intaktes Verhältnis zur Evaluationsfunktion voraus, wonach Evaluationsergebnisse nicht als Kritik oder gar Angriff, sondern als Reflexionsangebot aufgefasst werden. Andererseits ist die begleitende Evaluation anschlussfähig an systemeigene Mechanismen der Kontrolle und der Eigenevaluation. Da die professionelle Evaluation in der Regel zeitlich mit der Projektphase verknüpft ist, müssen sich begleitende Evaluatoren die Frage stellen, welche Möglichkeiten bestehen, schon während der Zeit der praktischen Arbeit zur Förderung evaluativen Denkens und Handelns in der Organisation beizutragen. Lernbereitschaft und Reflexionskultur können auf verschiedenen Wegen durch den Evaluator gefördert werden: durch Hilfestellungen bei projekteigenen Evaluationen, durch Anregung von selbstevaluativen Prozessen bei den Auftraggebern oder durch die Sicherstellung der Öffentlichkeit des Vorgehens und der Ergebnisse der Evaluation.

18

Im HzE-Projekt bestand der letzte Bericht aus solchen Verfahrensvorschlägen. Behandelt wurde u.a., wie in der Folge ein effektives Qualitätsmanagement und Qualitäts-FrühWarnsystem installiert werden könnte. Es ging mir darum zu zeigen, wie Evaluation im Übergang vom Projekt zur Organisationsentwicklung überflüssig gemacht oder zumindest von bisherigen Themenstellungen entlastet werden kann. An die Stelle der Evaluation treten dann routinisierte Formen von Selbst-Beobachtung „in der Linie“ selbst: das allgemeine Controlling (aufgehängt an den wahrgenommenen Terminen bzw. Leistungsstunden der Helfer), die einzelfallbezogene Revision (aufgehängt an den quartalsweisen Hilfekontrakten mit den Familien), das Gruppen-vergleichende Benchmarking (aufgehängt an den Dokumentationen, an Klientenbefragungen und an Controlling-Daten) sowie eine leistungsbezogene Budgetierung. Als Konsequenz und Folge der Evaluation sollten, so lautete der Vorschlag, - gemeinsam mit anderen Kräften im Qualitätsmanagement – standardisierte, aber gleichwohl flexible Instrumente der Begutachtung und Intervention entwickelt werden.

Der Beitrag der begleitenden Evaluation zur organisatorischen Lernkultur reduziert sich also nicht auf die von ihr vorgelegten inhaltlichen und schnell an Aktualität verlierenden Ergebnisse. Er beruht vor allem in dem, was Michael Patton (1997) als Prozessnutzen bezeichnet. Von zentraler Bedeutung dafür ist das konsequente Einfordern und Einüben einer Maßnahmeorientierung. Alle Projektbeteiligten werden an den Schnittstellen zur wissenschaftlichen Begleitung dazu angehalten, ihre gestaltenden Aktivitäten, d.h. die Interventionen der Projektleitung wie die ProgrammUmsetzungen der Projektgruppen, konsequent als Maßnahmen zu verstehen. Dazu sind Ziele, Vorgehensweisen, Fristen, personelle und sachliche Ressourcen sowie Zielerreichungskriterien von vorne herein klar zu formulieren und zu dokumentieren. Für dieses Vorgehen spricht: •

Die Maßnahmeorientierung führt zur Segmentierung und Entflechtung vielschichtiger Problemlagen und Handlungsstränge.

•

Die Maßnahmeorientierung macht die Projektarbeit kommunizierbar und damit für Dritte anschlussfähig. Mit der Beschreibbarkeit einer Maßnahme wird der Gefahr entgegengetreten, dass lokale Erfahrungen in anderen Zusammenhängen nicht genutzt werden. Schon die Verschriftlichung bzw. die Präsentation der Erfahrungen setzt Bewertung (Eigenevaluation) und auch systematische Analysen voraus. Die Maßnahmeorientierung ist daher eine gute Basis für die modulare Entwicklung von “lessons learned“ bzw. von „examples of good practice”.

•

Die Maßnahmeorientierung bringt summative Elemente in die - weiterhin maßgebliche - formative Grundstruktur der Evaluation ein. Eine abschließende Bewertung der Maßnahme und darauf aufbauend die Neuplanung weiterer Schritte wird möglich.

19

•

Die Maßnahmeorientierung hat schließlich den Vorteil, dass sie an Methodiken des Qualitätsmanagements und an Methoden der Qualitätssicherung anschlussfähig ist.

9. Maßnahmen zur Qualitätssicherung Die Frage der Qualität betrifft nicht nur die Projektarbeit oder die Organisationsentwicklung. Sie betrifft auch die Evaluation selbst. Ohne Anspruch auf Vollständigkeit wollen wir deshalb noch auf einige Maßnahmen der Qualitätssicherung von Evaluationen hinweisen, die sich aus unserer Sicht als hilfreich erwiesen haben: •

Die Evaluation formuliert ein Leistungsangebot, das die einzelnen Maßnahmen, ihre Ziele, Durchführungsmodalitäten, Zeitpläne, Dokumentationsweisen und Verantwortlichkeiten definiert. Die Projektleitung versieht sie dann mit einem eindeutigen Auftrag.

•

Es werden Feedbackvereinbarungen mit den Auftraggebern und eventuell mit anderen Prozessbeteiligten getroffen. Zeitpunkte, Ort und Medien des Feedback sollten darin geregelt sein.

•

Von Seiten der Evaluation muss auf ein hohes Maß an Transparenz des Vorgehens und an Öffentlichkeit der Ergebnisse gedrungen werden. Öffentlichkeit und Transparenz sollten durch Verwendung moderner Präsentationsformen und Darstellungsmedien gesteigert werden.

•

Ein früher Einstieg der Evaluatoren, möglichst vor der eigentlichen Projektgruppenarbeit ist zu gewährleisten.

•

Die Mitarbeit bei oder zumindest die Unterstützung von Maßnahmen der Evaluation sollte als konstitutives Element der Projektarbeit angesehen werden und im Auftrag der Projektgruppen enthalten sein.

•

Begleitende Evaluatoren sollten neben qualitativen auch quantitative Methoden der Datenerhebung und -analyse beherrschen und prozessbezogen einsetzen bzw. anpassen können.

•

Bei den Evaluierten und den Auftraggebern sollte das Verständnis für die Logik der Datenerhebung und für die Vorgehensweisen bei der Datenaufbereitung - gegebenenfalls in einschlägigen Workshops – aktiv geweckt und gefördert werden.

•

Eine Evaluation der Evaluation ist zu gewährleisten bzw. von den Aufraggebern einzufordern. Die Evaluation der Evaluation kann schon mitlaufend durch bera20

tende Arbeitsgruppen erfolgen. Sie kann als kollegiale Supervision zusammen mit anderen Evaluatoren organisiert sein. Nicht zuletzt obliegt es auch den Auftraggebern, den Evaluator von Zeit zu Zeit an die Einhaltung des eigenen Konzepts und an die gemeinsam vereinbarte eigenen Rolle zu erinnern. •

Empfehlungen gehören nicht notwendig zur Aufgabe der Evaluation. Werden dennoch Empfehlungen formuliert, dann sollten diese eindeutig aus den erhobenen Befunden ableitbar sein und als Diskussionseröffner und Verständigungshilfen dienen. Oft erschließt sich dem Publikum die Relevanz von Beschreibungen erst vor dem Hintergrund der „vorsichtigen“ Empfehlungen, die daran geknüpft werden.

10. Der geheime Lehrplan: zu lernen, beantwortbare Fragen zu stellen Der geheime Lehrplan begleitender Evaluationen lautet: Organisationen und ihre Mitglieder sollen ein Gefühl für Wirkung ihres Tuns entwickeln und sich darin üben, komplexe Sachverhalte und hehre Absichten auf gangbare Schritte und überprüfbare Kriterien herunter zu brechen. Ihnen wird nahe gelegt, vordringlich beantwortbare Fragen zu stellen. Wer sich die Kommunikation in sozialen Einrichtungen einmal näher ansieht, der stellt fest, dass dort derartige bescheidene Fragen eine eher untergeordnete Rolle spielen. Zumindest besteht eine eindeutige Präferenz für den Austausch von grundsätzlichen Meinungen, Überzeugungen und Bekenntnissen. Wenn, dann geht es um das Aufwerfen richtig großer Fragen mit Ewigkeitswert (wie jenen nach Lebensweltorientierung, Klientenbezug, Flexibilisierung, Partizipation, Normalisierung oder Wohnortnähe) vor denen man ehrfürchtig und staunend verharrt oder sie als argumentative Spielmarken hin und her schiebt. Was immer eine lernende Organisation sein mag, eines ihrer wesentlichen Kennzeichen dürfte sein, dass man sich dort ständig um beantwortbare Fragen bemüht, immer im Bewusstsein, dass jede Konkretisierung, jedes Kriterium und jeder Antwortversuch unweigerlich eine im Grunde unzulässige Vereinfachung darstellt; aber auch im berechtigten Vertrauen darauf, dadurch Prozesse auszulösen bei denen Kommunikation, Lernen und im besten Falle Einsicht anfällt.14 Hierfür ist die begleitende Evaluation zweifellos hilfreich, aber natürlich keineswegs ausreichend. 14

In diesem Sinne bleibt die Maßnahmeorientierung der begleitenden Evaluation letztendlich immer nur eine Fiktion. Sie tut so, als ob Organisationen nach diesem Muster tatsächlich „durchgestyled“ werden könnten. Dies ist natürlich nicht der Fall. Die Funktionsweise von Organisationen hängt we-

21

sentlich von Latenzen, vom mehr oder weniger sturen Festhalten an eingespielten Standardprozeduren und von Ressourcen schonenden Begrenzung der organisatorischen Selbstreflexivität ab. Dennoch gehört es zu der „Intelligenz“ einer Organisationen gegen alle realistischen Einreden im „Modus des als ob“ denken und handeln - und das heißt, so tun zu können, als wäre sie als ganze ein evaluierbares Projekt.

22

Literatur Amann, Klaus / Hirschauer, Stefan (Hg.) (1997): Die Befremdung der eigenen Kultur. Zur ethnographischen Befremdung soziologischer Empirie. Frankfurt a.M.: Suhrkamp. Bogumil, Jörg/ Kißler, Leo (1998): Verwaltungsmodernisierung als Machtspiel. Zu den heimlichen Logiken kommunaler Modernisierungsprozesse. In: P. Conrad & G. Schreyögg (Hg.), Managementforschung 8: 123 -149. Brown, Jon Seeley/ Duguid, Paul (1996): Organizational Learning and Communities of Practice. S. 58-82. In: M.D. Cohen/ L.S. Sproull (eds.): Organizational Learning. London: Sage. Brunsson, Nils/ Olsen, Johan P. (1993): Reforming Organization. London and New York: Routledge. Feldman, Martha S./ March, James G. (1981): Information in Organizations as Signal and Symbol. Administrative Science Quarterly 26: 171-186. Fetterman, David M./Kaftarian, Shakeh J./ Wandersman, Abraham (1996): Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability. Thousand Oaks: Sage. Freundlieb, Andreas/ Wolff, Stephan (1999): Evaluation. S. 80-91. In: J. Pelikan/ S. Wolff (Hg.), Das gesundheitsfördernde Krankenhaus. Weinheim und München: Juventa. Früchtel, Frank/ Lude, Werner/Scheffer, Thomas/Weissenstein, Regina (Hg.) (2001): Umbau der Erziehungshilfe. Von den Anstrengungen, den Erfolgen und den Schwierigkeiten bei der Umsetzung fachlicher Ziele in Stuttgart. Weinheim/München: Juventa. Heiner, Maja (Hg.) (1998): Experimentelle Evaluation. Weinheim und München: Juventa. Kardorff, Ernst von (2000): Qualitative Evaluationsforschung. S. 238-250. In: U. Flick u.a. (Hg.), Qualitative Forschung. Reinbek: Rowohlt. Luhmann, Niklas (2000): Organisation und Entscheidung. Opladen/ Wiesbaden: Westdeutscher Verlag. Patton, Michael Quinn (1997): Utilization-Focused Evaluation. 3rd edition. Thousand Oaks: Sage. Scheffer, Thomas (1995): Aufenthaltsgewährung – Studien zur Praxis der Ausländerverwaltung. Bielefelder Arbeiten zur Verwaltungssoziologie, Bd. 1. Scheffer, Thomas (2001a): Asylgewährung. Eine ethnographische Verfahrensanalyse. Stuttgart: Lucius & Lucius. Scheffer, Thomas (2001b): Die praxisbegleitende Evaluation als Instrument der Qualitätsentwicklung. S. 167-175 in: Frank Früchtel u.a. (Hg.), Umbau der Erziehungshilfe. Von den Anstrengungen, den Erfolgen und den Schwierigkeiten bei der Umsetzung fachlicher Ziele in Stuttgart. Weinheim/München: Juventa. Scheffer, Thomas (2001c): Wozu dienen die Fallbesprechungen der Stadtteilteams in der Hilfeplanung. S. 175-191 in: Frank Früchtel u.a. (Hg.), Umbau der Erziehungshilfe. Von den Anstrengungen, den Erfolgen und den Schwierigkeiten bei der Umsetzung fachlicher Ziele in Stuttgart. Weinheim/München: Juventa. 23

Shaw, Ian F. (1999): Qualitative Evaluation. London: Sage. Spiegel, Hiltrud von (1993): Aus Erfahrung lernen. Qualifizierung durch Selbstevaluation. Münster: Votum Verlag. Wolff, Stephan (2000): Wege ins Feld und ihre Varianten. S. 334-349 in: U. Flick/ E.v. Kardorff/ I. Steinke (Hg.): Qualitative Forschung. Ein Handbuch. Reinbek: Rowohlt.

Angaben zu den Autoren:

Prof. Dr. Stephan Wolff, geb. 1947, Mitglied des Instituts für Sozialpädagogik und Wissenschaftlicher Leiter des Weiterbildungsstudiengangs „Organization Studies“ der Universität Hildesheim. Arbeitsschwerpunkte: Angewandte Organisationsforschung, Rechtssoziologie, Qualitative Sozialforschung, Ethnomethodologie. Dr. Thomas Scheffer, geb. 1967, arbeitet als Research Fellow (Forschungsprojekt: “Organising of Performance and Perception in the Courtroom”) im Rahmen des Emmy-Noether-Stipendiums der DFG an der University of Lancaster, England. Zuvor war er nach seiner Promotion an der Universität Bielefeld (einer Ethnographie zum deutschen Asylverfahren) zwei Jahre als Evaluator bei der Jugendhilfeplanung in Stuttgart beschäftigt.

Arbeitsschwerpunkte: Mikrosoziologie, Wissenschaftsfor-

schung, Rechtssoziologie.

24