Informationen zur Raumentwicklung Heft 2/3.2005

103

Evaluation als Element des integrierten Handlungsprogramms „Soziale Stadt NRW“

Ralf Zimmer-Hegmann Evelyn Sucato

Hintergrund, Konzept, Erfahrungen

We ser

Niedersachsen

NIEDERLANDE

Ahlen

Rh ein

Dinslaken

Recklinghausen Gladbeck Gelsenkirchen Bottrop

Oberhausen Duisburg Krefeld

Herne Essen

Hamm Dortmund

Hagen Wuppertal

Hessen

Köln

Sieg

Aachen

Rheinland-Pfalz

BELGIEN

Altindustrielle Gebiete Niedersachsen

NIEDERLANDE

Detmold

e

Lipp Dortmund

1 Hintergrund

Ruhr

Ratingen Solingen

up per

W

Um dem zu begegnen, haben Land und Kommunen schon Anfang der 1990er Jahre einen eigenen integrierten Programmansatz zur Stabilisierung von benachteiligten Stadtteilen entwickelt. Aktuell sind über dreißig Stadtteile in mehr als 25 Städten des Landes in dieses Programm aufgenommen. Dabei liegt der Schwerpunkt auf vom in-

Ruhr

u Remscheid pper

Düsseldorf

Rh ein

Als ein schon früh und in besonderer Weise vom ökonomischen Strukturwandel geprägtes Bundesland – man denke nur an die traditionell montanindustrielle Prägung des Ruhrgebietes – haben sich in den nordrhein-westfälischen Städten die dadurch verursachten sozialen und wirtschaftlichen Problemlagen schon in den 1980er Jahren deutlich gezeigt. Mit der Schließung von Zechen und Stahlwerken waren Stadtteile bzw. ganze Stadtbereiche schlagartig in einer Spirale des Niedergangs gefangen.

e

Lipp

We ser

Nicht eingehen möchten wir auf einzelne Ergebnisse von bislang in NRW durchgeführten Evaluationsstudien, da wir annehmen, dass sie zu großen Teilen denen ähnlich sind, die von anderen Beiträgen in diesem Heft angesprochen werden. Im Übrigen wurden sie auch schon an anderer Stelle veröffentlicht und sind dort für Interessierte nachlesbar; auf die einzelnen Quellen wird noch im Weiteren verwiesen.

Soziale Stadt NRW

W

Nordrhein-Westfalen gilt mit seinem Programm „Stadtteile mit besonderem Erneuerungsbedarf“ – jetzt „Soziale Stadt NRW“ benannt – als ein Vorläufer des Bund-Länder-Programms „Soziale Stadt“ und kann seit 1993 auf eine mehr als doppelt so lange Programmumsetzung zurückblicken. Vor diesem Hintergrund gibt der vorliegende Beitrag einen Überblick über den methodisch-konzeptionellen Rahmen einer systematischen Evaluation dieses Programmansatzes, der uns für eine bundesweite Debatte interessant zu sein scheint.

Monheim Bergheim

Hessen

Köln Düren

BELGIEN

Sieg

Rheinland-Pfalz

Großwohnsiedlungen Quelle: ILS NRW 2004; Stand 12/2004

dustriellen Strukturwandel unmittelbar betroffenen altindustriellen bzw. innenstadtnahen Stadtteilen, die rund zwei Drittel der Programmgebiete ausmachen. Rund ein Drittel der Gebiete sind Großwohnsiedlungen der 1960er und 70er Jahre.1

Dipl.-Soz. Wiss. Ralf Zimmer-Hegmann Dipl.-Ing. Evelyn Sucato Institut für Landes- und Stadtentwicklungsforschung und Bauwesen des Landes Nordrhein-Westfalen (ILS NRW) Deutsche Straße 5 44339 Dortmund E-Mail: [email protected] [email protected]

104

Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms „Soziale Stadt NRW“

Programmgebiete Soziale Stadt NRW Stadt

Stadtteil

Aufgenommen zum

1

Aachen

Ost

Januar 2000

2

Ahlen

Süd-Ost

Juli 1995 Januar 2002

Ausgeschieden

3

Bergheim

Süd-West

4

Bonn

Dransdorf

1996

2004

5

Bottrop

Boy-Welheim

Januar 1994

2004

6

Bottrop

Lehmkuhle-Ebel

Januar 2003

7

Detmold

Herberhausen

Juni 1997

8

Dinslaken

Lohberg

Januar 2000

9

Dortmund

Clarenberg

Mai 1997

10

Dortmund

Nordstadt

Januar 1997

11

Dortmund

Scharnhorst

1994

12

Duisburg

Bruckhausen

1993

13

Duisburg

Hochfeld

März 2000

14

Duisburg

Marxloh

Januar 1994

15

Düren

Süd/ Ost

Mai 1997

16

Düsseldorf

Oberbilk/Flingern

Januar 2000

17

Essen

Altendorf

Januar 1999

18

Essen

Katernberg

Januar 1994

19

Gelsenkirchen

Bismarck/Schalke-Nord

1994

20

Gelsenkirchen

Süd-Ost

Januar 2002

21

Gladbeck

Brauck

Januar 2004

22

Gladbeck

Butendorf

Januar 1996

23

Hagen

Altenhagen

Januar 1999

24

Hagen

Vorhalle

Januar 1994

25

Hamm

Norden

Januar 1994

26

Hamm

Westen

März 2000

27

Herne

Bickern/ Unser Fritz

Januar 2002

28

Herne

Horsthausen

Oktober 1995

29

Köln*

Chorweiler

Oktober 1993

30

Köln**

Kalk / Mülheim

1994

31

Krefeld

Süd

Juni 1997

32

Monheim

Berliner Viertel

Mai 1995

33

Oberhausen

Knappenviertel

Anfang 1996

34

Oberhausen

Lirich

Anfang 2003

35

Ratingen

West

Anfang 1996

36

Recklinghausen

Hochlarmark

Frühjahr 1996

37

Recklinghausen

Süd

Januar 2003

38

Remscheid

Rosenhügel

Anfang 2003

39

Siegen

Fischbacherberg

Januar 1994

40

Solingen

Fuhr

Januar 1994

41

Wuppertal

Ostersbaum

Juni 1996

2002

2004

2004

2004

* 2001 erweitert um Chorweiler-Nord ** 2001 erweitert um Mülheim Quelle: ILS NRW; Stand 12/2004

Erste Evaluationen  vor Ort  Evaluation – Erfolgskontrolle und Qualifizierung eigener Arbeit

Auch wenn das Thema Evaluation nicht auf der Agenda stand, ist es mit zunehmender Programmumsetzungserfahrung insbesondere für die Akteure vor Ort bedeutungsvoll geworden. Sie waren zunehmend mit der Frage von Öffentlichkeit und kommunaler Politik konfrontiert, was das Programm denn konkret „bringen“ würde. Außerdem hatten sie auch selbst ein Interesse daran,

Ergebnisse ihrer Arbeit überprüf- oder gar messbar zu machen, sowohl um die eigene Arbeit zu optimieren wie auch zur Legitimation dieses anspruchsvollen Programmansatzes. Von daher liegt für NordhreinWestfalen eine Reihe von (Zwischen-) Ergebnissen zum Programm vor.

Informationen zur Raumentwicklung Heft 2/3.2005

So hat das ILS NRW im Jahr 2000 einen ersten Analysebericht zur Umsetzung des Landesprogramms veröffentlicht, in dem auch auf eine Reihe von Problemen bei der Evaluation hingewiesen wurde, beispielsweise auf die zu allgemeinen bzw. zu unklaren Zieldefinitionen, die eine genaue und systematische Überprüfung der Zielerreichung in den Stadtteilen bzw. Kommunen erschweren. In dieser Untersuchung werden auch Hinweise auf die Notwendigkeit einer systematischen Evaluation und für ein kontinuierliches Monitoring der Stadtteile gegeben.2 Zudem liegen für einzelne Kommunen und Stadtteile detailliertere Untersuchungsberichte vor. Beispielhaft zu nennen sind hier verschiedene Evaluationsberichte für den Stadtteil Duisburg-Marxloh (seit 1994 im Landesprogramm), ein Stadtteil der auch im Rahmen des europäischen URBAN I-Programms gefördert worden ist. In diesem Kontext ist von der Stadt Duisburg ein kleinräumiges Monitoring-System zur laufenden Beobachtung und Evaluation des URBAN-Programmansatzes implementiert worden, das allerdings mit Auslaufen der URBAN-Förderung eingestellt werden musste. Zu diesem Ansatz gehörten auch repräsentative Bewohnerbefragungen.3 Hinzu kommen für Marxloh externe Evaluationsberichte, die sich im Schwerpunkt mit der politischen Implementation des Programms4 bzw. mit den Ergebnissen und Wirkungen der lokal-ökonomischen Maßnahmen5 im Stadtteil beschäftigen. Für den Stadtteil Gelsenkirchen-Bismarck/ Schalke-Nord (seit 1994 im Landesprogramm) erfolgte im Rahmen des Bund-Länder-Programms von Herbst 2000 bis Frühjahr 2002 eine Programmbegleitung vor Ort durch die Arbeitsgruppe Bestandsverbesserung (AGB) an der Universität Dortmund und das ILS NRW.6 Daneben hat das ILS NRW im Auftrag des NRW-Sozialministeriums speziell die sozial-integrativen Projekte im Stadtteil evaluiert.7 Für den Stadtteil Oberhausen-Knappenviertel liegt ebenfalls nach einer fünfjährigen Programmlaufzeit eine repräsentative Bewohnerbefragung mit aufschlussreichen Ergebnissen vor.8 Neben vielen weiteren Aspekten wurde danach gefragt, ob sich nach Meinung der Befragten die Lebensqualität im Stadtteil in den letzten fünf Jahren verändert hat. Fast die Hälfte der Be-

105

fragten äußert sich hier positiv – ein Ergebnis, das deutliche Rückschlüsse auf eine erfolgreiche Stadtteilerneuerung vermuten lässt. Ebenso beachtlich ist, dass drei Viertel aller Befragten das Stadtteilbüro als zentrale Anlauf- und Koordinierungsstelle des dortigen Erneuerungsprozesses kennen und etwa 70 % von ihnen meinen, dass sich das Image des Stadtteils verbessert hat.9 Zu Beginn der Erneuerung in Gelsenkirchen-Südost wurde im Jahr 2003 ebenfalls eine repräsentative Bewohnerbefragung durchgeführt10. Deren Ziel war es, neben speziellen Ortskenntnissen auch die Erwartungen, Wünsche und Anregungen für die zielgerichtete Entwicklung und Umsetzung von Maßnahmen und Projekten zu erfassen. Aus den Ergebnissen wurde sichtbar, dass trotz der Zufriedenheit mit einzelnen Aspekten im Stadtteil die generelle Zufriedenheit und insbesondere das subjektive Sicherheitsempfinden verbesserungswürdig sind – geeignete Ansatzpunkte, um mit der Erneuerung auch die Imageverbesserung des Gebietes voranzutreiben. Der schon genannten Problematik der unzureichenden Zielformulierung widmen sich Evaluationskonzepte in den Programmstadtteilen in Hamm, Essen und Gelsenkirchen-Südost, indem dort zunächst Prozesse der diskursiven Zielformulierung durchgeführt wurden, die die Grundlage für ein späteres Controlling-System bilden.11 Auch für die Stadtteile Köln-Kalk und KölnChorweiler liegen Projektdokumentationsund -controlling-Ansätze vor, die eine Messung von einzelnen Projektergebnissen erlauben.12 In einigen weiteren Stadtteilen existieren erste Ansätze von ControllingSystemen, jedoch häufig nicht in Verbindung mit einer systematischen Zielentwicklung und Informationserhebung. Evaluationsinitiative NRW Aufbauend auf diesen konkreten Erfahrungen wurde eine aus vier Bausteinen bestehende Evaluationsinitiative entwickelt, die seit Anfang 2003 in allen Stadtteilen des Programms „Soziale Stadt NRW“ umgesetzt wird. Das Evaluationskonzept wurde vom so genannten Expertenkreis Evaluation zwischen März 2001 und Dezember 2002 entwickelt. Dieser Kreis bestand aus einem interdisziplinär zusammengesetzten Team aus Vertretern des Landes, der am Programm beteiligten Städte und der Wissen-

Bisherige Evaluationsansätze vor Ort bringen erste (Zwischen-) Ergebnisse

106

Langjährige Programmerfahrungen der „Sozialen Stadt NRW“ werden durch die Evaluation erstmals systematisch aufbereitet.

Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms „Soziale Stadt NRW“

schaft. So konnte gewährleistet werden, dass der vorgeschlagene Evaluationsansatz auf eine breite Akzeptanz stößt. Hinzu kommt, dass auch der Landtag von NRW mit einem einstimmigen Beschluss vom November 2002 („Nur gemeinsam lässt sich die Soziale Stadt verwirklichen! Integrative Ansätze der Stadtentwicklung unterstützen und fortführen!“13) die Bedeutung einer systematischen Programmevaluation hervorhebt. In diesem Beschluss wird die Landesregierung aufgefordert, bis zum Jahr 2004 für die Evaluierung des Handlungsprogramms Maßstäbe und Qualitätskriterien zu entwickeln, die den Veränderungsprozess in der Stadtteilentwicklung nachvollziehbar dokumentieren, messbar und überprüfbar machen.

2 Systematische Evaluation des Programms „Soziale Stadt NRW“ – Konzept Fortlaufende, komplexe Programme verlangen nach einem Evaluationsansatz, der nicht nur rückblickend Aussagen über Nutzen, Effektivität und Effizienz des Programms und seiner Projekte trifft. Insofern steht die Evaluation der „Sozialen Stadt NRW“ für ein praxisbegleitendes Verfahren, das durch die kontinuierliche Rückkopplung der Ergebnisse sowohl auf Landes- als auch auf Stadtteilebene dazu beiträgt, die laufende Arbeit zu verbessern. Die Evaluation ist bewusst prozessbegleitend angelegt, ist also Bestandteil der Programmumsetzung und unterstützt alle am Stadterneuerungsprozess beteiligten Akteure aktiv bei der Programmumsetzung und -steuerung. Ziel ist es, verlässliche Kenntnisse über Ergebnisse und Wirkungen der integrierten Stadtteilerneuerung zu erhalten. Die Evaluation erfüllt mehrere Funktionen: • Information Land, Kommunen und die Öffentlichkeit erhalten regelmäßig verlässliche Aussagen zur Umsetzung des Programms. Vorhandener Informationsbedarf wird dadurch gedeckt und die Programmdurchführung wesentlich transparenter gestaltet.

• Optimierung Neue Entwicklungen in den Programmgebieten, wie z. B. bisher nicht bekannte Bedarfe von Zielgruppen, werden frühzeitig erkannt und liefern systematisch Hinweise auf Verbesserungsmöglichkeiten des Programms. So können beispielsweise bestehende Förderungen besser aufeinander abgestimmt oder neue Förderschwerpunkte definiert werden. • Rückkopplung Die Ergebnisse und Handlungsempfehlungen der verschiedenen Bausteine werden kontinuierlich auf die Landesebene und in die Stadtteilarbeit rückgekoppelt, um Lerneffekte sowie eine verbesserte Steuerung und Ausrichtung des Programms „Soziale Stadt NRW“ und der Integrierten Handlungsansätze vor Ort zu ermöglichen. Es wird deutlich, dass es nicht darum geht, die Umsetzung des Programms „Soziale Stadt NRW“ zu kontrollieren. Im Vordergrund steht, einen von Land und am Programm beteiligten Kommunen gemeinsam gestalteten und getragenen Prozess umzusetzen, der zur Qualitätsverbesserung des Programms beiträgt. Die Evaluation wird daher vom „Städtenetz Soziale Stadt NRW“, einem Zusammenschluss der am Programm beteiligten Kommunen, in Abstimmung mit dem auf Landesebene federführenden Ministerium für Städtebau und Wohnen, Kultur und Sport des Landes NRW (MSWKS) beauftragt und in weiten Teilen an externe Forschungseinrichtungen vergeben. Das ILS NRW koordiniert die Umsetzung der Evaluationsbausteine und berät Land und Kommunen in diesem Prozess. Die Umsetzung jedes Bausteins wird von einer Steuerungsgruppe begleitet, die sich aus Vertreterinnen und Vertretern des MSWKS, des Städtenetzes Soziale Stadt NRW, des ILS NRW und des jeweiligen Auftragnehmers zusammensetzt. Das Gesamtkonzept der Evaluation setzt sich zusammen aus den vier ineinandergreifenden Bausteinen (1) Zielentwicklung und Beobachtung der Zielerreichung, (2) Kontextindikatoren, (3) Analyse qualitativer Prozesse, (4) Fallstudien.

Informationen zur Raumentwicklung Heft 2/3.2005

Aus nebenstehender Abbildung geht ihr Zusammenwirken hervor: Die Bausteine 2, 3 und 4 werden in allen Programmgebieten nach einem einheitlichen Untersuchungskonzept von externen Auftragnehmern durchgeführt. Baustein 1, der sich aus mehreren Arbeitsschritten zusammensetzt, wird ebenfalls in allen Programmgebieten, aber mit stadtteilspezifischen Schwerpunktsetzungen von den Kommunen selbst umgesetzt. Auf der Landesebene werden lediglich rahmensetzende Leitlinien und ein Handbuch zur Zielentwicklung vorgegeben (s. u.); sie bilden einen Orientierungsrahmen für die Umsetzung vor Ort.

107

„Soziale Stadt NRW“: Zusammenspiel der Evaluationsbausteine

Rahmensetzende Leitlinien und Handbuch zur Zielentwicklung

Kontextindikatoren zur Stadtteilanalyse - Erhebung durch Kommunen, externe Umsetzung Analyse qualitativer Prozesse - Erhebung durch Externe -

Fallstudien (jährlich) - Erhebung durch Externe -

Baustein 1 – Zielentwicklung und Beobachtung der Zielerreichung Ziele sind ein wichtiger Bestandteil der Programmumsetzung, denn sie zeigen an, wohin sich ein Stadtteilprojekt entwickeln soll. Bisher liegen nur wenigen Integrierten Handlungskonzepten der „Sozialen Stadt“ umfangreiche Zielsysteme zugrunde. Die systematische Entwicklung von Zielen nimmt jedoch einen wichtigen Stellenwert ein, denn diese stecken den Rahmen für die strategischen Schwerpunkte eines Stadtteilprojektes ab. Und die regelmäßige Überprüfung der Ziele auf ihre Ausrichtung und den Grad der Zielerreichung anhand von Indikatoren ermöglicht Informationen darüber, ob die aufgestellten Ziele überarbeitet oder neu ausgerichtet werden sollten. Durch den Aufbau stadtteilbezogener Verfahren der Selbstevaluation sollen die Ergebnisse und Wirkungen der Erneuerungsansätze vor Ort erfasst und gefördert werden. Die Verfahren werden von den Kommunen in Eigenverantwortung nach dem „Prinzip Selbstkontrolle“ entwickelt und angewendet. Dabei ist zu beachten – und liegt im Interesse der umsetzenden Akteure vor Ort –, dass die Verfahren in den Arbeitsalltag mit geringen Reibungsverlusten und ohne unverhältnismäßig hohen Aufwand integrierbar sind. Sind möglichst viele Stadtteilakteure, u. a. Projektträger, Bewohnerschaft, Vereine und Stadtteilinstitutionen, in die Verfahren eingebunden, sind sie transparent und auf breiter Basis getragen. Durch solche Verfahren erhalten die Kommunen mit relativ geringem Aufwand prozessbegleitend Aussagen zu Erfolgen, Wirkungen und Fortschritten der Handlungskonzepte und werden in die

Zielentwicklung als gemeinsamer Prozess Rückkopplung Beobachtung der Zielerreichung (Selbstevaluation)

Zusammenführung und Auswertung der Ergebnisse

regelmäßige Sachstandsberichte

landesweit

stadtteilspezifisch

Lage versetzt, diese für die Weiterentwicklung und Steuerung der Integrierten Handlungsansätze zu nutzen. Um den Aufbau von stadtteilbezogenen Verfahren der Selbstevaluation zu unterstützen und zu fördern, wurde vom ILS NRW das Handbuch „Zielentwicklung und Selbstevaluation in der Sozialen Stadt NRW“ entwickelt.14 Die am Landesprogramm beteiligten Städte und Stadtteile sind aufgefordert, auf dieser Grundlage eigene Verfahren der Selbstevaluation zu entwickeln und umzusetzen. Dieser Prozess benötigt Zeit, um das notwendige Vertrauen und die Strukturen zu entwickeln. Die Akteure sind jedoch angehalten, noch 2004 mit der Initiierung und Umsetzung der Prozesse zu beginnen und regelmäßig durch Sachstandsberichte über den Stand der Verfahren zu berichten.

Hand

Handbuch „Zielentwicklung und Selbstevaluation in der sozialen Stadt NRW“

Quelle: ILS NRW

Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms „Soziale Stadt NRW“

108

Baustein 2 – Kontextindikatoren zur Stadtteilanalyse

Katalog der Kontextindikatoren Nr. 1

Indikator

Nr.

Bevölkerung

4

Wohnberechtigte Bevölkerung Hauptwohnungsbevölkerung – nach Altersgruppen – nach Geschlecht

5

Langzeitarbeitslose (länger als ein Jahr) Erwerbstätigkeit – Sozialversicherungspflichtig Beschäftigte am Ort der Hauptwohnung

Bevölkerungsdichte 6

Gebietsfläche Flächennutzungsstruktur 7

Gebäude-/Wohnungsbestand Wohngebäude insgesamt und nach Anzahl der Wohnungen

Fortzüge über die Stadtgrenzen – nach Altersgruppen

Sozialwohnungen – Bindungsdauer Wohnflächenversorgung 8

Natürliche Bevölkerungsentwicklung Transferleistungen

Grundsicherung: Beziehende – nach Altersgruppen Personen, die Leistungen nach dem Asylbewerberleistungsgesetz beziehen Schule und Bildung Übergänge auf weiterführende Schulen nach Art der Schulform – Nicht-deutsche Übergänger/innen Quelle: ILS NRW

Kinder und Jugendliche Betreuungsplätze (incl. Vorschule) Jugendhilfe

9

Sozialhilfe-Beziehende – nach Altersgruppen – Geschlecht

3

Flächennutzung

Zuzüge über die Stadtgrenzen – nach Altersgruppen

Umzugsbewegungen im Stadtgebiet

2

Arbeitsmarkt Arbeitslosigkeit – nach Geschlecht – nach Altersgruppen – nach Staatszugehörigkeit

Nicht-deutsche Bevölkerung nach ausgewählter Staatsangehörigkeit

Erwachsene Bevölkerung nach der Wohndauer an der Adresse

Sicherheit Verkehrsunfälle (ohne Bagatellunfälle)

Nicht-deutsche Hauptwohnungsbevölkerung – nach Altersgruppen – nach Geschlecht

Steuerrechtliche Personenverbände mit Kindern unter 18 Jahren

Indikator

Gesundheit Vorsorge-Untersuchungen Übergewichtige/adipöse Kinder

10

Wahlbeteiligung Wahlbeteiligung

Die Situation der Programmgebiete der „Sozialen Stadt NRW“ wird in den Integrierten Handlungskonzepten u. a. anhand von verschiedenen Indikatoren beschrieben. Aufgegriffen werden z. B. wirtschaftliche, soziale, infrastrukturelle und ökologische Rahmenbedingungen, um unter Berücksichtigung der Probleme und Potenziale des jeweiligen Gebiets geeignete Erneuerungsstrategien zu entwickeln. In diesem Evaluationsbaustein wird ein einheitliches Indikatorenset für alle Programmgebiete zu wiederkehrenden Stichtagen erhoben (vgl. Katalog der Kontextindikatoren). Hierdurch lassen sich wichtige Aussagen über bisherige und zukünftige Entwicklungen der Gebiete treffen. Durch Veränderungen in der Bevölkerungszusammensetzung lassen sich beispielsweise ethnische, demographische, soziale oder wirtschaftliche Segregationstendenzen ablesen. Die Veränderung der Flächennutzungsstruktur – z. B. ein steigender Anteil an Grün- und Freiflächen – kann Hinweise auf die Verbesserung des Wohnumfeldes geben. Indikatoren wie „Arbeitslosigkeit nach Geschlecht, Altersgruppen und Staatsangehörigkeit“, „Langzeitarbeitslosigkeit“ und „Sozialhilfe-Empfänger“ lassen zwar Rückschlüsse auf die Struktur und die sozio-ökonomische Situation der Bevölkerung zu, sagen aber nichts darüber aus, wodurch u. a. Arbeitslosigkeit ausgelöst wurde. Wirkungen der Projekte und Maßnahmen lassen sich insofern nicht unmittelbar kausal durch diese Kontextindikatoren messen. Hier bedarf es einer Interpretation der Kennzahlen oder ggf. weiterer Erhebungen. Da der Aufbau des Monitorings wesentlich auf der Kooperation aller Beteiligten basiert und vor allem von den beteiligten Kommunen ein aktives Engagement erfordert, wurden die statistischen Bereiche und Ämter von vornherein in die Entwicklung und die Auswahl der Indikatoren einbezogen. Der ausgewählte Indikatorensatz ist von daher ein realistischer Rahmen, der von den Kommunen auch tatsächlich mit kleinräumigen Daten gefüllt werden und langfristig in ein Regelhandeln der Verwaltung einfließen kann.15

Informationen zur Raumentwicklung Heft 2/3.2005

Baustein 3 – Analyse qualitativer Prozesse Nicht immer lassen sich die Qualität und Wirksamkeit der Stadtteilerneuerung abbilden. Besonders schwierig ist es beispielsweise, Erfolge und Wirkungen von Maßnahmen im sozialintegrativen Bereich vergleichbar zu machen oder messbar abzubilden. Teilnehmerzahlen, Vermittlungsquoten o. ä. sind nicht ausreichend um die Qualität der sozialintegrativen Arbeit vor Ort zu beurteilen. Daher werden in diesem Baustein folgende Elemente und Prozesse analysiert, die über qualitative Aspekte der Programmumsetzung Aufschluss geben sollen: • Organisations- und Kooperationsstrukturen • Integrierte Projektentwicklung und -umsetzung • Bewohnerbeteiligung • Imageentwicklung der Programmgebiete. Dazu: In der „Sozialen Stadt NRW“ sind vielfältige und vernetzte Organisationsund Kooperationsstrukturen zwischen den verschiedenen Stadtteilakteuren aber auch zwischen den verschiedenen Ebenen innerhalb einer Kommune entstanden. Die integrierte Projektentwicklung und -umsetzung ist ein zentrales Ziel des Programms, denn durch die enge Verknüpfung verschiedener Handlungsfelder wird ein zusätzlicher Wert gegenüber einseitig ausgerichteten Ansätzen erzielt. Das Prinzip der Bewohnerbeteiligung liegt allen integrierten Handlungskonzepten zugrunde und ist in vielfältiger Art und Ausprägung entwickelt worden, so dass die Erneuerungsansätze auf einem breit getragenen Konsens und Verständnis aufbauen. Durch Strategien und Projekte der Imageentwicklung verändert sich die Innen- und Außenwahrnehmung der Programmgebiete, die Identifizierung mit dem eigenen Wohnort wird gefördert und die Stigmatisierung von Stadtteilen kann durchbrochen werden. Diese vier Bereiche werden in allen Programmgebieten innerhalb der nächsten drei Jahre auf Basis eines einheitlichen Untersuchungsprofils systematisch untersucht. Zur Anwendung kommen in erster Linie qualitative Methoden, kombiniert mit quantitativen Erhebungen. So werden neben Materialauswertungen und Experteninterviews mit verschiedenen Akteursgruppen auch thematisch orientierte Gruppendiskussionen zur Vertiefung in-

109

haltlicher Fragestellungen und Rückkopplung von Zwischenergebnissen durchgeführt. Außerdem soll eine standardisierte Bewohnerbefragung in allen Stadtteilen des Programms Aufschluss darüber geben, wie die Umsetzung des Programms „Soziale Stadt NRW“ und die Entwicklung in den Programmgebieten von den Bewohnern beurteilt wird. Ziel ist es herauszufinden, welche Strukturen und Strategien sich in der Umsetzung bewährt haben. Das Augenmerk wird insbesondere auf die Qualität, die Wirkungen und die langfristige Tragfähigkeit der Strukturen und Strategien angesichts sich verändernder Rahmenbedingungen oder auslaufender Landesförderung gelegt. Baustein 4 – Fallstudien Fallstudien bieten die Möglichkeit, einzelne Handlungsfelder oder die Rolle bestimmter Akteursgruppen einer Tiefenanalyse zu unterziehen. Die Fallstudienuntersuchungen finden in ausgesuchten Stadtteilen statt. Ziel ist es, übertragbare Aussagen u. a. zu Erfolgsfaktoren, Umsetzungsmechanismen und Wirksamkeit bestehender Ansätze zu erhalten. Im Juni 2003 begann die Fallstudie „Schule im Stadtteil/Kinder- und Jugendhilfe“. In den Fallstudiengebieten Duisburg-Hochfeld, Essen-Katernberg, GelsenkirchenBismarck/Schalke-Nord und OberhausenKnappenviertel wurde umfassend erforscht, welche Rolle Schulen und Einrichtungen der Kinder- und Jugendhilfe in der Stadtteilentwicklung übernehmen und wo Potenziale für ein weiteres Engagement gesehen werden. Die bisherigen Ergebnisse der Fallstudie zeigen, dass im Handlungsfeld Schule und Bildung eine starke Beteiligung von Schulen an Stadtentwicklungsprozessen gelungen ist. Dies ist maßgeblich das Ergebnis von intensiven Kooperationsbeziehungen, der Ansprache von Schulen durch das Stadtteilmanagement und persönlichem Engagement. Der experimentelle Charakter des Programm „Soziale Stadt NRW“ hat die vielfältigen Entwicklungen erst ermöglicht, so dass das Engagement der Schulen in den Programmgebieten zahlreiche Wirkungen entfalten konnte. Dennoch ist es notwendig, das Handlungsfeld Schule und Bildung

110

Ds Evaluationskonzept ermöglicht ein umfassendes Bild über die „Soziale Stadt NRW“ und gibt Hinweise auf wichtige Eckpunkte.

Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms „Soziale Stadt NRW“

stärker zu betonen und seine strategische Bedeutung hervorzuheben. Bisher wenig oder nicht aktive Schulen sollten intensiver in Prozesse der Stadtteilentwicklung einbezogen und die Kooperation mit einzelnen Akteursgruppen, wie Sportvereinen oder Migrantengruppen, soll intensiviert werden. Ergänzende Förderansätze sollten weiterentwickelt werden, um die Aktivitäten von Schulen und Einrichtungen der Kinder- und Jugendarbeit zu unterstützen und zu stärken. Die Fallstudie wird voraussichtlich im November 2004 abgeschlossen. Ihr wird eine Fallstudie zum Thema „Förderung der Lokalen Ökonomie“ folgen. In den drei thematischen Schwerpunkten „Leerstand im Einzelhandel“, „Existenzgründungen“ und „Vernetzung und Beratung“ sollen Projekte aus insgesamt sechs Stadtteilen untersucht werden. Untersuchungsgebiete sind Düsseldorf-Flingern/Oberbilk, Duisburg-Marxloh, Essen-Katernberg, Gelsenkirchen-Bismarck/ Schalke-Nord, Oberhausen-Knappenviertel und Wuppertal-Ostersbaum. Die Projekte sollen im Rahmen der örtlichen integrierten Handlungskonzepte und der bestehenden stadtteilbezogenen lokalökonomischen Strategien analysiert und bewertet werden. Die Auftragsvergabe für diese Fallstudie erfolgt voraussichtlich im Januar 2005 an das Rheinisch-Westfälische Institut für Wirtschaftsforschung e.V. (RWI), Essen. Weitere thematische Fallstudien sind vorgesehen. Zusammenfassend ergeben die regelmäßigen Sachstandsberichte zur Zielerreichung aus den Kommunen, die regelmäßige Erhebung der Kontextindikatoren und die Befragungen in den Städten sowie die Ergebnisse der Einzeluntersuchungen und Fallstudien nach unser Meinung ein wirkungsvolles Bild über die Umsetzung des Programms. Diese Elemente stellen aus unserer Sicht einen vernünftigen Kompromiss dar zwischen dem wissenschaftlich Wünschenswerten und dem politisch und finanziell Machbaren.

3 Eckpunkte für ein differenziertes Evaluationskonzept Gewissermaßen als Schlussfolgerung weisen wir im Folgenden auf einige allgemeine Eckpunkte für einen differenzierten Evaluationsansatz hin, die uns grundsätzlich bei der Evaluation integrierter Stadtentwicklungsprogramme beachtenswert scheinen: • Messbarkeit bedarf klarer Ziele Es wurde bereits darauf hingewiesen, dass es unabdingbare Voraussetzung für eine Bewertung der Erreichung von Zielen ist, dass es solche Ziele und deren Konkretisierung überhaupt gibt. Die Erfahrungen zeigen, dass das keine Selbstverständlichkeit ist. Häufig sind Ziele nur sehr allgemein und vage formuliert („Verbesserung der Lebensbedingungen“, „Aufwertung des Stadtteils“ o.ä.) und es fehlt eine genauere Konkretisierung und Operationalisierung. Daraus wird deutlich, dass wirksame Evaluationskonzepte, bevor sie überhaupt irgendetwas messen können, sich dem Problem der Zielformulierung stellen müssen. Daher gilt: • Zielformulierung ist Teil der Evaluation und ein Prozess Im Sinne einer prozessorientierten Evaluation ist es daher auch Aufgabe der für die Evaluation verantwortlichen Personen, gemeinsam mit den weiteren am Prozess beteiligten Akteuren Projekt- und Maßnahmenziele zu formulieren. Diese gemeinsame Zielformulierung sollte von der Projektebene bis zur Ebene der Gebietsentwicklung erfolgen und auch die Bewohner einbeziehen.16 Besonders wichtig ist uns an dieser Stelle aber auch der Hinweis, dass die Zielformulierung neben dem diskursiven auch ein zeitlicher Prozess ist. Nicht alle Ziele und deren Konkretisierung können von Beginn an feststehen, sondern ergeben sich erst im Projekt- bzw. Prozessverlauf, müssen gemeinsam entwickelt werden und können sich auch verändern. Das Programm „Soziale Stadt“ ist der Prototyp für ein „lernendes Programm“, das in der Anfangsphase stark experimentell ausgerichtet sein muss. Angestrebt werden sollte daher eine mit der Zeit der Programmumsetzung und -erfahrung wachsende Konkretisierung und Präzisierung der Ziele, die aber auch flexibel bleiben müssen.

Informationen zur Raumentwicklung Heft 2/3.2005

111

• Messbarkeit bedarf klarer Indikatoren und Zahlen

• Der subjektive Faktor – Was meinen die Betroffenen?

Allerdings ist es mit der Formulierung der Ziele alleine nicht getan. Sie müssen auch „messbar“, d. h. darstellbar und nachprüfbar gemacht werden. Dazu bedarf es aussagefähiger und mit vertretbarem Aufwand zu erhebender Indikatoren. Das können beispielsweise sein: einfache Erhebungen (Zahl der modernisierten Wohnungen o. ä.), die Befragung von Zielgruppen, die von einzelnen Maßnahmen erreicht werden, Dokumentationen der Projektarbeit, Daten der kommunalen Statistik oder aus dem Verwaltungsvollzug. Dabei wird in der Regel zwischen den Ebenen und der Reichweite der Aussagefähigkeit von Indikatoren unterschieden (Indikatoren zur Zielüberprüfung auf der Ebene von Individuen, Projekten, Stadtteil bzw. Indikatoren zur Messung von Output, Ergebnis oder Wirkungen). Optimal sind für die Projektebene hier Dokumentations- und Controllingsysteme.17

Auf keinen Fall sollte vergessen werden, die Betroffenen selbst zu fragen. Nehmen sie die Maßnahmen wahr, die der Verbesserung ihrer Lebensbedingungen dienen sollen, und vor allem, erkennen sie positive Veränderungen für sich und ihr Lebensumfeld? Aus unserer Sicht entscheidend ist, ob es gelingt, den Menschen Zuversicht zu vermitteln, um sie zu eigenem Engagement zu ermutigen oder Tendenzen der Abwanderung aus den betroffenen Stadtteilen zu stoppen.

Um auf der Gebietsebene, d. h. für den Stadtteil Entwicklungsprozesse beobachten zu können, bedarf es kleinräumiger Monitoringsysteme. Hier besteht allerdings das schon hinlänglich bekannte Problem der häufig mangelhaften Verfügbarkeit von kleinräumigen Daten aus der Kommunalstatistik und dem Verwaltungsvollzug. Die Qualität der Bereitstellung solcher Daten ist von Kommune zu Kommune sehr unterschiedlich. In diesem Zusammenhang möchten wir auf ein nach unserer Auffassung vorbildliches System eines kommunalen Sozialraummonitoring in der Stadt Düsseldorf verweisen.18 • Zahlen reichen nicht Zahlen allein können jedoch die Realität nur unvollkommen darstellen und bedürfen immer der Interpretation. Vor allem stellt sich meist auch die Frage nach der Kausalität von Maßnahme und Wirkung. Ein typisches Beispiel: Ist die Veränderung der Arbeitslosenstatistik für einen Stadtteil Folge der dortigen Beschäftigungsmaßnahmen oder auf externe Faktoren (Konjunkturentwicklung, Investitionsentscheidung eines Großunternehmens o.ä.) zurückzuführen? Die reinen Zahlen bedürfen daher der qualitativen Ergänzung beispielsweise durch das Fachwissen von Experten, das im Rahmen von Interviews gewonnen werden kann.

Die schon genannte repräsentative Bewohnerbefragung für den Stadtteil Oberhausen-Knappenviertel, die 2001 von der Stadt Oberhausen durchgeführt wurde, kann hier als positives Beispiel angeführt werden. Deren Ergebnisse unterstreichen, dass der Stadtteil den Preis „Soziale Stadt 2002“ offenbar nicht zu Unrecht erhalten hat. Auch bei der erwähnten Befragung in Gelsenkirchen-Südost wurde deutlich, dass großes Interesse der Bewohnerschaft an der Zukunft des Gebietes besteht. Die Meinungen und Wünsche der Bewohner können bei der Zielentwicklung stärker berücksichtigt werden und geben dem Stadtteilbüro eine Richtung, welche Ziele bei der Erneuerung verfolgt werden sollten. Allerdings muss auch eingeräumt werden, dass repräsentative Bewohnerbefragungen – zumal wenn sie sinnvoller Weise in regelmäßigen Abständen durchgeführt werden – mit erheblichem Aufwand und Kosten verbunden sind. Das sollte aber keinesfalls davon abhalten, diesen „subjektiven“ Teil des Gesamtbildes zu erheben. Alternativ sinnvoll sind auch nicht-repräsentative Formen der Befragung: Zufallsgespräche auf der Straße o. ä. Auch sie erlauben interessante Tendenzaussagen, sind aber natürlich in der politischen Debatte weniger kommunikationsbeständig als repräsentative Befunde. Diese verschiedenen Aspekte verdeutlichen, dass es nötig ist, Evaluationskonzepte zu entwickeln, die unterschiedliche qualitative und quantitative Untersuchungsmethoden zusammenführen und kombinieren.

Ein differenziertes Evaluationskonzept umfasst quantitative und qualitative Analysen.

112

Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms „Soziale Stadt NRW“

4 Vertretbarer Aufwand – Förderung der Akzeptanz Erst alle genannten qualitativen und quantitativen Untersuchungselemente zusammen ergeben ein Bild, das die Frage nach positiven Wirkungen der Programme beantworten kann. Prinzipiell ist es möglich, nahezu alles zu messen. Ob das allerdings immer auch sinnvoll und verhältnismäßig ist, ist eine andere Frage. Der Verweis auf manche Kennziffern bei der Verwaltungsmodernisierung im Rahmen des so genannten Neuen Steuerungsmodells mag hier als Hinweis genügen. Wir plädieren in diesem Zusammenhang dafür, die Vertretbarkeit des Aufwandes und die Beherrschbarkeit und Praktikabili-

tät der Mess- und Evaluationssysteme im Auge zu behalten, was auch eine Kostenfrage ist. Gerade im Hinblick auf die weiter zunehmende öffentliche Finanzkrise ist die Verhältnismäßigkeit der Kosten auch entscheidend für die Akzeptanz solcher Systeme bei der Politik. Akzeptanz gilt es für Evaluationsansätze schließlich und vor allem auch bei den Aktiven vor Ort zu fördern. Ohne deren konstruktive Mitarbeit wären beispielsweise Projektdokumentationen oder Interviewrunden nicht umzusetzen. Die beteiligten Akteure müssen den unmittelbaren Nutzen von Evaluation erkennen. Nur mit ihnen und nicht gegen sie können Evaluationen das Ziel der Optimierung von Programmen und Prozessen erreichen.

Anmerkungen (1) Nähere Informationen zum Landesprogramm unter www.soziale-stadt.nrw.de (2) Vgl. Austermann, Klaus; Zimmer-Hegmann, Ralf: Analyse der Umsetzung des integrierten Handlungsprogramms für Stadtteile mit besonderem Erneuerungsbedarf. Evaluationsbericht zum nordrhein-westfälischen Landesprogramm. – Dortmund 2000. = ILS Schrift 166 (3) In diesem Zusammenhang sind vom stadteigenen N.U.R.E.C.-Institut insgesamt sieben Berichte erschienen. Infos auch unter www.uniduisburg.de/duisburg/mke.htm. Abschlussbericht: Sozio-ökonomischer Strukturwandel und Lebensbedingungen in Duisburg-Marxloh. Stadtteilentwicklung und Umsetzung des operationellen Programms URBAN (Monitoring kleinräumiger Entwicklungsprozesse, Projektergebnisse 1996– 1999). – Duisburg 1999 (4) Vgl. Boettner, Johannes: Vom tapferen Schneiderlein und anderen Helden. Fallstricke des integrierten Handelns – Eine Evaluation. In: Soziale Stadt – Zwischenbilanzen. Ein Programm auf dem Weg zur Sozialen Stadt? Hrsg.: Walther, Uwe-Jens. – Opladen 2002, S. 101–114 (5) Die Evaluation der lokal-ökonomischen Maßnahmen erfolgte im Rahmen des EU-Forschungsprojektes ELSES in sechs europäischen Staaten. Der Fallstudienbericht über Duisburg-Marxloh ist unter www.ils.nrw.de/netz/elses ebenso wie die übrigen fünf Fallstudienberichte und weitere Abschlussberichte im Internet entgeltfrei verfügbar.

(6) ILS NRW/Arbeitsgruppe Bestandsverbesserung am Institut für Raumplanung der Universität Dortmund (Hrsg.):Integrierte Stadtteilentwicklung auf dem Weg zur Verstetigung. Gelsenkirchen-Bismarck/Schalke-Nord. Programmbegleitung vor Ort (PvO) im Rahmen des Bund-Länder-Programms „Soziale Stadt“ im Auftrag des Deutschen Instituts für Urbanistik (Difu). Abschlussbericht. – Dortmund 2002. = ILS-Schrift 186 (7) Der Bericht „Analyse sozial-integrativer stadtteilbezogener Projekte. Eine exemplarische Untersuchung am Beispiel Gelsenkirchen-Bismarck/ Schalke-Nord“ ist entgeltfrei unter www.ils.nrw.de/publik/pdf/sozstadt-projekte.pdf verfügbar. (8) Vgl. Stadt Oberhausen (Hrsg.): Anwohnerbefragung 2001. Stadtteilprojekt Knappenviertel. – Oberhausen 2002. = Beitr. z. Stadtentwicklung Nr. 72 (endgeltfrei verfügbar unter www. sozialestadt.de/gebiete/dokumente/DF6088.pdf) (9) 37 % der Befragten sehen eine starke bis sehr starke Verbesserung, ein Drittel schätzt die Imageverbesserung teils/teils ein. (10) Gesellschaft für Organisation und Entscheidung (Hrsg.): BewohnerInnenbefragung Gelsenkirchen-Südost. Zusammenfassung der Auswertungsergebnisse, Handlungsbedarfe und Handlungsempfehlungen. – Bielefeld 2004 (11) Vgl. ILS NRW (Hrsg.): Ziele und Indikatoren in der integrierten Stadtteilerneuerung. Dokumentation des Workshops am 15. Juli 2002 in Dortmund. – Dortmund 2003 (entgeltfrei verfügbar unter www.ils.nrw.de/publik/pdf/ziele-indikatoren.pdf)

(12) Vgl. ILS NRW (Hrsg.): Zielentwicklung, Projektcontrolling und Evaluation in der integrierten Stadtteilerneuerung. Dokumentation des Workshops am 13. Februar 2003 in Köln-Kalk. – Dortmund 2003 (entgeltfrei verfügbar unter www.ils.nrw.de/publik/pdfstadtteilevaluation.pdf) (13) Vgl. www.soziale_stadt.nrw.de/informationen/ ministerien.html (14) ILS NRW: Handbuch. Zielentwicklung und Selbstevaluation in der Sozialen Stadt NRW. – Dortmund 2004. = ILS Schrift 194 (15) Nähere Informationen zu diesem kleinräumigen Monitoring finden sich auf der Internetseite www.city-monitoring.de, die u. a. der Kommunikation zwischen den beteiligten Kommunen dienen soll. (16) mehr dazu unter Anm. 14 (17) mehr dazu unter Anm. 14, 15 (18) Vgl. Klein, Thomas: Definition und Bildung von Sozialräumen am Beispiel des Jugendamtes der Stadt Düsseldorf. In: Reader zum Workshop „Monitoring und Controlling in Stadtteilen mit besonderem Erneuerungsbedarf“. Zusammenstellung verschiedener Beiträge anlässlich des Workshops „Monitoring und Controlling in Stadtteilen mit besonderem Erneuerungsbedarf“ am 30. August 2001 im Technologie- und Gründerzentrum HamTec in Hamm/Westfalen. Hrsg.: ILS NRW. – Dortmund 2001, S. 40– 45 (entgeltfrei verfügbar unter www.ils.nrw.de/publik/pdf/ stadtteil monitoring.pdf)