Erfahrungsbericht Wiener Jugendzentren: Wirkungsorientierung

Gabriele Langer, Geschäftsführerin, Verein Wiener Jugendzentren Manuela Smertnik, Pädagogische Bereichsleiterin, Verein Wiener Jugendzentren www.npo-kongress.at

Wirkungsorientierung im VJZ Erstellung eines Wirkungskonzeptes für die Offene Jugendarbeit 2011-2012 Erarbeitung und Implementierung neuer Tools und Prozesse zur Planung, Evaluierung und Berichtslegung 2013-2014

Verein Wiener Jugendzentren  Offene Jugendarbeit  25 Jugendzentren/-treffs  6 Einrichtungen der

Mobilen Jugendarbeit  6 Parkbetreuungen

 2 Stadtteilzentren  Musisches Zentrum  Überregionale Projekte

 301 MitarbeiterInnen  68 Vollzeit, 233

Teilzeit  +11 saisonal Beschäftigte  16,8 Mio € Budget  35 Einrichtungen  ca. 700.000 Kontakte

jährlich Verein Wiener Jugendzentren

Warum Wirkungsorientierung?  Kernfragen von Organisationen, die nicht auf

materiellen Gewinn ausgerichtet sind: „Warum tun wir was wir tun?“ „Was soll damit bewirkt werden?“

 Orientierung an Wirkungen ermöglicht eine

ausdifferenzierte Darstellung, dass Entfaltung einer erwünschten Wirkung in der Realität vielerlei verschiedenen Einflüssen ausgesetzt ist  Verankerung der Wirkungsorientierung in der

Haushaltsgebarung des Bundes (ab 2013), mittelfristig auch auf Landesebene Verein Wiener Jugendzentren

Erstellung des Wirkungskonzeptes Februar 2011 bis Mai 2012 März bis Mai 2011 

Die 12 köpfige Steuergruppe entwickelt das „Grundgerüst“



Abstimmungstreffen mit MA 13 (Fördergeber)

Juni 2011 

Workshop mit allen LeiterInnen (~40 TN)



Infoveranstaltung für MitarbeiterInnen (~100 TN)

Juni 2011 bis Oktober 2011 

108 MitarbeiterInnen erarbeiten in 15 thematischen Kompetenzteams Inhalte und

exemplarische Wirkungsketten November 2011 bis Jänner 2012 

Erstellung des Erstentwurfs durch die Steuergruppe

Februar 2012 

Erstentwurf wird bei einer MitarbeiterInnenveranstaltung vorgestellt und diskutiert (~ 200 TN)



Feedbackschleifen mit Vorstand und Abstimmungstreffen mit MA 13

Bis Mai 2012 

Redaktionelle und Inhaltliche Endbearbeitung



Beschluss durch Vorstand Verein Wiener Jugendzentren

individuelle

Wirkungen

sozialräumliche gesellschaftliche

Verein Wiener Jugendzentren

Offene Jugendarbeit wirkt… …und hat individuelle, sozialräumliche und gesellschaftliche Wirkungen  Offene Jugendarbeit fördert die Persönlichkeits- und

Identitätsentwicklung Jugendlicher.  Offene Jugendarbeit bewirkt, dass Jugendliche mit ihren

altersspezifischen Ansprüchen Platz finden und fördert ein verständnis- und respektvolles Miteinander.  Offene Jugendarbeit trägt zu sozialem Frieden, gesellschaftlicher

Stabilität und Chancengleichheit bei und leistet einen Beitrag zu gelebter Demokratie und gesellschaftlicher Teilhabe Jugendlicher.

Verein Wiener Jugendzentren

Inhalt des Wirkungskonzeptes  Wirkungsorientierung  Theorie der Veränderung  Zielgruppen  Angestrebte Wirkungen  Prinzipien  Handlungsfelder  Gliederung der komplexen, vielfältigen Aktivitäten Verein Wiener Jugendzentren

VJZ - Wirkungskette

Verein Wiener Jugendzentren

Laufende Evaluierung

Wirkung

Ergebnis

Output

Aktivitäten

Ressourcen Verein Wiener Jugendzentren

Wirkung Theorie der Veränderung Jugendforschung, Soziologie, Psychologie, …

Ergebnis Output Aktivitäten Ressourcen Verein Wiener Jugendzentren

Planung, Evaluierung, Berichtslegung

Anknüpfend an die Erstellung des Wirkungskonzeptes werden die Prozesse und Tools zur Planung, Evaluierung und Berichtslegung aus der Perspektive der Wirkungsorientierung neu erarbeitet 2013 - 2014

Wirkungsorientiertes Planen und Evaluieren  Langfristige Wirkungsforschung  Jährliche Evaluierung von

ausgewählten Handlungsfeldern durch Evaluierungsbögen  unter Zuhilfenahme von Kennzahlen

 Planung und Evaluierung einzelner

Projekte/Aktivitäten Verein Wiener Jugendzentren

Planung und Evaluierung einzelner Projekte/Aktivitäten • Wirkungsketten als

Steuerungsinstrument für Planung und Evaluierung während des ganzen Jahres • Bei neuen Betriebsformen, bei

Veränderungen der Betriebszeiten und Dienstplan, größerem Ressourceneinsatz... (z.B. Ferienfahrten, Etablierung Tonstudio, Großveranstaltungen, Verein Wiener Jugendzentren Thematische Schwerpunktwochen)

Planung und Evaluierung einzelner Projekte/Aktivitäten

Verein Wiener Jugendzentren

Planung und Evaluierung einzelner Projekte/Aktivitäten - Beispiel

Verein Wiener Jugendzentren

Ergebnisse

Kids erkennen eigenen Fortschritt

Befragung vorher nachher KIDS

Kids kommen regelmäßig

zählen, beobachten

Kids sind motiviert Schulergebnisse verbessert

beobachten, befragen EA (quartal) Befragung vorher nachher KIDS Befragung vorher nachher ELTERN

Kids lernen selbständiger und helfen sich gegenseitig

beobachten, befragen EA (quartal)

Kids teilen Erfolge/Nichterfolge mit Kids sagen selber Schularbeiten/Prüfungen

beobachten, befragen EA (quartal) beobachten, befragen EA (quartal)

Kids kommen auch an anderen Tagen ins JZ

Beobachten

Fokus auf "Benachteiligte"

Befragung vorher

Angbot ist im Gemeinwesen bekannt

Netzwerkbefragung

Bewußtseinsbildung bei EA

befragen EA Eingangsfragebogen Kids +Eltern (KURZ!) Abschlussfragebogen Kids und Eltern (KURZ!) Leitfragen für EA Meeting

Verein Wiener Jugendzentren

Kids äußern sich positiv über OLR: *Ausstattung (z.b. Möglichkeiten Referate zu gestalten, Internet, Übungszettel,…) * verbesserte schulische Leistungen werden in Zusammenhang mit Lernraum gebracht * Kids kommunizieren, dass Sachverhalte in Schule von Lehrer_in oft nicht verstanden werden und dann im OLR schon 10-12 Kids sind im OLR, wenn OLR offen ist; es gibt auch welche, die nicht oft kommen aber regelmäßig vor bestimmten Schularbeiten/Tests oder zum Referate vorbereiten eigentlich sind alle motiviert; die von Eltern geschickt wurden sind nicht motiviert, d.h. aber kommen gar nicht (1 Teilnehmer im WS und 1 Teilnehmer im SoSe); *1 Mädchen hat erzählt, dass sich ihre Leistung in Englisch und Deutsch verschlechtert hat; alle anderen, die erzählen, reden von verbesserter Schulleistungen; * vor allem gab es positive Rückmeldungen bezüglich vorbereiteter Referate (Plakate und Präsentation) * einige Kids kommen nach Schule, setzten sich in OLR, machen Hausübung (ohne Hilfe) und gehen dann in den Cafebereich - Raum wird genützt um Hausübung zu erledigen, und die Möglichkeit genutzt in bestimmten Fällen nachzufragen oder ausgeprüft zu werden; * ältere helfen jüngeren aber auch Kids aus gleichen Klassen/Schulstufen borgen sich gegenseitig Bücher aus und helfen (z.B. wie Lehrer_in etwas gemeint hat, was Aufgabe ist, bis wann etwas zu erledigen ist,... Kids teilen vor allem Erfolge mit Selbstverständnis im OLR ist so, dass alle Kids mit ihren Aufgaben und Fragestellungen kommen, wenn sie keine haben können sie auch verbalisieren was zu üben ist (z.B. Prozentrechnungen, Textaufgaben, am/is/are,…) *38 Kids haben im letzten Jahr den OLR besucht. * Davon waren 11 Kids, die das JZ schon vorher gekannt haben und daher auch das JZ an anderen Tagen nutzen; *11 weitere haben das JZ durch den OLR kennen gelernt und kommen jetzt auch an Tagen an denen kein OLR statt findet;* die restlichen 16 nutzen den Cafebereich/JZ-Angebote nur in Pausen bzw. wenn sie schon fertig sind, d.h. kommen nicht an anderen Tagen; Rückmeldung von Eltern, dass Nachhilfeangebote teuer und teilweise auch nicht leistbar sind und, dass OLR gutes und günstiges Angebot ist; Familienverhältnisse einiger Kids sind bekannt und können als "Benachteiligt" "eingestuft" werden; MA 11 vermittelt v.a. Kids an uns, deren Eltern es sich nicht leisten können; Es gibt auch Anfragen von anderen Einrichtungen, die mit Asylwerber_innen und Flüchtlingen arbeiten. Diese Kids sind dann aber oft schon älter und können daher den OLR nicht besuchen; Das Angebot spricht sich unter den Eltern herum; Das Nachbarschaftszentrum hat eine Warteliste für seinen Lernclub und wir haben die Abmachung getroffen so lange es bei uns Plätze gibt (wir melden uns wenn es nicht mehr so ist), werden Eltern und Kids zu uns geschickt; Schulsozialarbeit, MA 11, Jugendcoaching West sowie Schulen legen Kids nahe bei Bedarf den OLR zu besuchen (Kids erzählen wie sie den OLR gefunden haben bzw. besteht Vernetzung/Absprache mit den genannten Einrichtungen). Zu Beginn des OLR stand bei den EA v.a. das Thema oder die Bedenken im Vordergrund, dass ihre Mathe, Englisch,…-Kenntnisse nicht ausreichend sind; Am Ende des Jahres konnte beobachtet/besprochen werden, dass v.a. das Da-Sein für die Kids; bz. Erledigte Hausübungen und eine gewisse Kontinuität wichtig ist für die Jugendlichen; Eindruck, dass Ehrenamtliche

Jährliche Evaluierung von ausgewählten Handlungsfeldern durch Evaluierungsbögen

 Wirkungsspezifische Fragen zur

EINSCHÄTZUNG der Ergebnisse  Die Beschreibung von Entwicklung

steht im Vordergrund  5 Hauptwirkungen des

Handlungsfeldes werden an Hand der Fragen durchgegangen Verein Wiener Jugendzentren

Jährliche Evaluierung von ausgewählten Handlungsfeldern durch Evaluierungsbögen

Das Einrichtungsteam schätzt den Wirkungsgrad in diesem Handlungsfeld in Bezug auf die jeweilige Wirkung ein

„Welche Wirksamkeit haben wir im letzten Jahr durch Aktivitäten in diesem Handlungsfeld bezüglich der Wirkung XX erreicht?“ 1 keine Wirkung 2 wenig Wirkung, kaum wahrnehmbar 3 wahrnehmbare Wirkung 4 gut wahrnehmbare Wirkung 5 gut wahrnehmbare Wirkung in mehreren Wirkungsaspekten 6 starke Wirkung in fast allenVerein Wirkungsaspekten Wiener Jugendzentren

Jährliche Evaluierung von ausgewählten Handlungsfeldern durch Evaluierungsbögen  Für jedes Handlungsfeld

gibt es einen eigenen Evaluierungsbogen  Die verfügbaren

Kennzahlen (z.B. Kontaktstatistik, Anzahl der Betriebstage im Handlungsfeld) dienen als Grundlage  Die 5 Wirkungen/HF sind

jene, die im Wirkungskonzept als die wesentlichen formuliert sind  Die Fragen zu den

Wirkungen sind in den verschiedenen HF gleich

Verein Wiener Jugendzentren

Langfristige Wirkungsforschung  Neben der Jahres(selbst)evaluierung

werden umfassendere Wirkungsanalysen in längeren Zyklen durchgeführt  Mögliche Methoden:  Sozialraumanalysen  Zielgruppenbefragungen  Befragung anderer Anspruchsgruppen  Forschungsprojekte (in Kooperationen mit Uni, FH) Verein Wiener Jugendzentren

Entwicklungen, Veränderungen, Erfahrungen Einfacher oder doch komplizierter? 

1 Wirkungskonzept für alle, statt Qualitätsmerkmale und zusätzliche Einrichtungskonzepte



Wirkungskonzept bzw. Teile davon sind sehr gut für diverse Unterlagen, Projektbeschreibungen, Förderansuchen verwendbar



Genaue Definition von Kennzahlen und einheitlichere Struktur der monatlichen Kontaktstatistik 



Jahresberichte vereinheitlicht und wesentlich verkürzt 







z.T. wird dadurch aber auch der Blick eher auf Highlights und erfolgreiche Aktivitäten gelenkt und weniger Erfolgreiches eher ausgeblendet

Verschiebung und Vereinheitlichung der Ablaufstrukturen im Jahresverlauf (Planung, Evaluierung…) 



Große Zeit- und Ressourcenersparnis; wird tw. als Verlust von Individualität empfunden

Der Fokus auf Wirkungen stellt die zu erzielenden Ergebnisse in den Mittelpunkt; 



Allerdings => Kennzahlenfalle – sagen diese Zahlen überhaupt etwas aus?

z.T. schwierig zu bewältigen für länger tätige LeiterInnen, die ihre gewohnten Strukturen und Abläufe adaptieren müssen

Einheitliche, standardisierte Evaluierungstools erleichtern eine Gesamtübersicht, erhöhen Verbindlichkeit und Professionalisierung, ermöglichen bessere Steuerung werden aber z.T. auch als zusätzliche Anforderung empfunden 

Vereinheitlichungen generell werden z.T. als hilfreich erlebt, z.T. aber auch als Einschränkung; manchmal auch mit Ängsten verbunden



Vereinheitlichung ist (mittel-) langfristig Vereinfachung, die Gefahr dabei => Simplifizierung komplexer Zusammenhänge und damit wenig aussagekräftig

Evaluierung einzelner Aktivitäten funktioniert gut, je komplexer das Handlungsfeld umso schwieriger und herausfordernder wird es 

Spannungsfeld zw. Komplexität und Banalität / Simplifizierung



Frage der Komplexität der angestrebten Wirkungen (in unserem Fall sehr komplex, sehr abstrakt)



Mut zur Lücke ist erforderlich

Verein Wiener Jugendzentren Selbstevaluierung/-einschätzung auf Basis professioneller, strukturierter Reflexionselemente => legitimes Instrument um Aussagen zur Wirksamkeit zu erlangen

Wirkungsorientierung im VJZ Herzlichen Dank für ihr Interesse! Gabriele Langer, Geschäftsführerin Manuela Smertnik, Pädagogische Bereichsleiterin [email protected] www.jugendzentren.at facebook.com/jugendzentren