Wirksamkeit externer Evaluation - eine Analyse der Wirksamkeit des European Peer Review im Rahmen der österreichischen Qualitätsinitiative Berufsbildung

1 Qualitätsmanagement und externe Evaluation an Schulen

In den letzten Jahrzehnten wurde großes Engagement gezeigt, Qualitätsmanagementsysteme in Schulen zu implementieren. Dabei wurde primär das Ziel verfolgt, die Qualität der Bildungseinrichtungen zu erhöhen. Offen blieb bislang allerdings die Frage hinsichtlich der Wirksamkeit von Qualitätsmanagementsystemen. Derzeit ist eine verstärkte Auseinandersetzung mit dem Thema der Wirksamkeit erkennbar, da der Nutzen von externen Evaluationen als Teilkomponente eines ganzheitlichen Qualitätsmanagementsystems den Fokus zahlreicher Untersuchungen bildet. Die Frage der Wirksamkeit dieser Verfahren kann trotz einer Fülle an Studien in diesem Gebiet allerdings noch nicht abschließend beantwortet werden (HUSFELDT 2011; QUESEL 2011). DÖBERT, RÜRUP und DEDERING konstatieren, dass hinsichtlich der externen Evaluation viele Informationen notwendig sind, um eine Antwort darauf zu erhalten, ob externe Evaluationen wirksam sind bzw. wie deren Vorzüge und Nachteile aussehen (2008, 150). Vor diesem Hintergrund wurde eine Wirksamkeitsanalyse durchgeführt, die den Nutzen von externen Evaluationen in das Zentrum der Untersuchung stellt.

1.1 Evaluation als Teil des Qualitätsmanagements der Schule

Das Wort „Evaluation“ wird seit den sechziger Jahren in der Curriculumforschung verwendet und ist mittlerweile als fester Begriff in den Diskussionen um die Qualitätsarbeit in sämtlichen Bildungseinrichtungen (SCHRATZ 1995, 116 f.) sowie übergreifend in Bezug auf die Gestaltung des deutschen Bildungswesens eingebunden (BAUER 2004, 161). Als Synonym zu Evaluation werden oftmals Nomen wie Erfolgs-, Wirkungs- oder Qualitätskontrolle bzw. Begleit-, Effizienz- oder Bewertungsforschung verwendet (DITTON 2009, 607). Nach KEMPFERT und ROLFF wird Evaluation "[...] als ein Prozess des systematischen Sammelns und Analysieren von Daten/Informationen [verstanden], um Bewertungsurteile zu ermöglichen, die auf begründeter Evidenz beruhen" (KEMPFERT/ ROLFF 2002, 23). Externe Evaluation ist Teil eines ganzheitlichen Qualitätsmanagements an Schulen (BRÄGGER/ BUCHER/ LANDWEHR 2005, 36). Ein Evaluationsverfahren soll das schuleigene Qualitätsmanagement sowie die Schul- und Unterrichtsqualität extern überprüfen (LANDWEHR/ STEINER 2007, 4). Ziel der Evaluation ist es also, die Qualität der Institution zu erfassen sowie Stärken und Schwächen in diesen Bereichen aufzudecken. Dies erfolgt, neben der Erstellung des Selbstberichts durch die Bildungseinrichtung selbst, mit Hilfe einer Begehung durch ein externes Evaluationsteam. Im Hinblick auf das Qualitätsmanagement sowie der Schul- und Unterrichtsqualität sollen aufgedeckte Schwächen behoben und identifizierte Stärken ausgebaut werden (CARSTENSEN 1997, 4 f.). Dies kann einerseits dadurch erfolgen, dass die Bildungseinrichtung während des Verfahrens, zum Beispiel bei Erstellung des Selbstberichts, Defizite aufdeckt und unmittelbar Handlungen zur Beseitigung initiiert. Die andere Möglichkeit besteht darin, dass Verbesserungsmaßnahmen durch das Evaluationsteam deklariert werden. Eine Evaluation kann somit als "[...] Bindeglied zwischen Schulentwicklung und Qualitätssicherung" (MÜLLER 2002, 9) bezeichnet werden und ist als Instrument in ein Qualitätsmanagementsystem eingebunden, um einer Bildungseinrichtung Rückmeldung zur Schul- und Unterrichtsqualität zu erteilen.

1.2 Wirksamkeit externer Evaluation von Schulen: Zugrundegelegtes Modell

Die Wirksamkeitsanalyse basiert auf einem mehrstufigen Modell, das im Folgenden kurz erläutert wird:

Die erste, vergleichsweise einfach zu erfassende Stufe der Evaluation ist die Reaktionsebene. Auf dieser Ebene wurde nach dem Modell von  KIRKPATRICK (1975) die Reaktion der Schulen auf die Teilnahme an der externen Evaluation am Pilotversuch untersucht. Die erste Ebene ermittelt die Zufriedenheit der TeilnehmerInnen mit der externen Evaluation und deren Vorgehensweise, Ergebnisse daraus zu implementieren bzw. aufzugreifen. Hierbei geht es um Gefühle, Bewertungen und Einschätzungen der Beteiligten zum Verfahren. Eine positive Bilanz bezüglich der Zufriedenheit impliziert zwar keinen direkten Erfolg des individuellen oder institutionellen Lernens, aber es ist anzunehmen, dass eine Ablehnung der externen Evaluation sich nicht förderlich auf die zweite Ebene auswirken würde. KIRKPATRICK (1975) legt einer Ermittlung der Zufriedenheit der TeilnehmerInnen verschiedene Anforderungen zu Grunde, indem das Ziel der Erhebung klar definiert und damit verbundene Elemente in einem Feedback-Fragebogen mit quantifizierbaren Antwortmöglichkeiten festgehalten werden. Anonymisierte Umfragen tragen dazu bei, ehrliche Antworten zu erhalten. Darüber hinaus soll den Teilnehmern die Möglichkeit eingeräumt werden, zusätzliche Kommentare und Verbesserungsvorschläge anbringen zu können.

Die zweite Stufe der Evaluation nach dem Modell von KIRKPATRICK bezieht sich auf den erzielten Lernerfolg von Beteiligten auf der Basis des Programms im Sinne einer Aneignung von Kompetenzen. Lernfortschritte der Teilnehmer können mittels standardisierter Befragungen, Simulationen oder Beobachtungen erhoben werden. Idealerweise erfolgt diese Visualisierung vor und nach der Maßnahme, um die Veränderungen direkt dem zugrundeliegenden Verfahren zuordnen zu können (KIRKPATRICK 1975, 6 ff.). Das Anwenden von erlerntem Wissen, angeeigneten Fähigkeiten und Fertigkeiten im Schulalltag bildet die dritte Stufe im KIRKPATRICK-Modell und bezieht sich also auf den Erfolg im Sinne von Verhaltensänderungen bei Teilnehmern basierend auf dem jeweiligen Programm. Der Transfererfolg kann durch Interviews, Supervisionen oder Beobachtung erfasst werden (KIRKPATRICK 1975, 10 ff.).

Der Lernerfolg von Schulen nach der Durchführung einer externen Evaluation wird in der vorliegenden Wirksamkeitsanalyse im Sinne von Innovationen verstanden, die aufgrund der Vorschläge der EvaluatorInnen während des Verfahrens angeregt wurden. Der Erfolg richtet sich auf die LehrerInnen, die eine Innovation im Schulalltag anwenden. Die Umsetzung von Maßnahmen aufgrund der Evaluationsergebnisse wird dabei als Schulinnovationsprozess definiert. Aus diesem Grund wurde zur Beantwortung der vorangehenden Frage das Concerns-Based-Adoption-Model (CBAM) von HALL und HORD herangezogen, um eine systematische Analyse der Innovationen unter Berücksichtigung der zentralen Akteure durchzuführen (HALL/ HORD 2011, 265; SEITZ/ CAPAUL 2011). Die beteiligten Personen bilden den Fokus des Modells, da die Nachhaltigkeit von Innovationen von dem Anteil der Individuen abhängt, die Veränderungen vornehmen. Menschen gehen mit Veränderungen allerdings sehr unterschiedlich um. Vor diesem Hintergrund wurden zwei Dimensionen von HALL und HORD gewählt, um diese Unterschiede zu erfassen: Erstens die Stages of Concern (SOC) als der Grad der Betroffenheit der Beteiligten und zweitens die Levels of Use (LoU) als der Grad der Verhaltensänderung der Beteiligten (HALL/ HORD 2011, 260 ff.).

Die Stages of Concern (SOC) beziehen sich auf Gefühle, Einstellungen und Empfindungen von Beteiligten gegenüber einer Innovation, die sowohl nützlich als auch schädlich sein können. Entscheidend ist die Art der Gefühle. Sofern Personen von einer Neuerung angetan sind, wird sich dies positiv auf deren Umsetzung auswirken. Im Gegensatz dazu werden Einschränkungen oder Bedrohungen weitere Arbeiten an der Innovation verhindern. Diese Gefühle werden durch die sogenannten Stages of Concern klassifiziert und ermöglichen einen Einblick über die Empfindungen von Betroffenen in Bezug auf die Einführung bzw. Umsetzung jeglicher Innovation (HALL/ HORD 2011, 68), also vor oder während eines Wandels. „Concern“ ist übergreifend eine Bezeichnung für Gefühle, Voreingenommenheit, Gedanken und Erwägungen eines Individuums bezüglich eines bestimmten Themas oder Aufgabe. Dementsprechend steht der englische Begriff für den gesamten Prozess mentaler Aktivität, der aus Hinterfragen, Analysieren, erneutem Analysieren, in Betracht ziehen von Alternativen und Reaktionen und dem Antizipieren von Konsequenzen besteht (HALL/ HORD 2011, 72). Eine Klassifizierung dieser Empfindungen einzelner Personen kann in allen Stakeholdern einer Organisation erfolgen, d. h. sowohl direkt als auch indirekt von der Innovation Betroffene werden in die Untersuchung einbezogen. Das Ergebnis, die Eingruppierung der Akteure in Stages of Concern, ermöglicht, individuelle Interventionen zu wählen, um die Neuerung erfolgreich zu integrieren bzw. voranzubringen (HALL/ HORD 2011, 70 f.). Die Idee, Gefühle und Empfindungen zu gruppieren, beabsichtigte erstmals FULLER (zitiert in HALL/ HORD 2011, 69 f.), wobei ein Zusammenhang zwischen der persönlichen Betroffenheit und dem thematischem Interesse aufgrund unterschiedlicher Vorerfahrungen von Personen festgestellt wurde. Anhand dieser Erkenntnisse wurden verschiedene Stufen der Betroffenheit entwickelt, die eine Grundlage für das Stages of Concern-Instrument darstellen. Die Stages of Concern gliedern sich nach HALL und HORD in sieben Stufen, die von den Lehrkräften in einer Entwicklung nahezu stufenweise durchlaufen und in vier Bereiche eingeordnet werden (HALL/ HORD 2011, 72 f.). CAPAUL bezeichnet die Stages of Concern als empirisch gesichert (CAPAUL 2002, 21).

Abb. 1:                  Stages of Concern, Stufen der Betroffenheit (HALL/ HORD 2011 72 f.)

Die Levels of Use beziehen sich auf Verhaltensänderungen und Reaktionen eines Beteiligten in Bezug auf eine Innovation. Im Zentrum steht also die Frage, welche Einstellungen und Handlungen einzelne Personen mit einer Innovation selbst bzw. mit deren Umsetzung verbinden, da die Levels of Use den Zusammenhang zwischen dem Benehmen einer Personen und einer Neuerung herstellen (HALL/ HORD 2011 93). Die Levels of Use unterteilen sich in acht Stufen. Eine übergreifende Gliederung erfolgt in zwei Bereiche, in eine Aufteilung in Users (= Anwender der Innovation) und Non-Users (= Nicht-Anwender der Innovation). Anhand der Eingruppierung der Beteiligten in diese acht Ebenen, ist eine organisationsspezifische Steuerung in Bezug auf eine optimale Weiterentwicklung der Innovation möglich (HALL/ HORD 2011, 94).

Abb. 2:                  Levels of Use, Stufen der Verhaltensänderung (HALL/ HORD 2011, 94)

Die dargestellten Levels of Use (LoU) entsprechen einem bestimmten Verhalten(smuster), das an einer Innovation involvierte Personen zeigen. Die verschiedenen Stadien der Betroffenheit sind in einer logischen Reihenfolge angeordnet, die allerdings nicht von jedem Beteiligten systematisch absolviert werden muss. Typischerweise springen Anwender zwischen verschiedenen Stufen, z. B. von LoU 0 zu LoU IV A, um möglicherweise zu einem niedrigeren Profil zurückzufallen oder auf einer Position stehen zu bleiben. Eine Einordnung der beteiligten Individuen in die verschiedenen Levels of Use ist durch die in der Tabelle genannten Merkmale in Verbindung mit den Informationen bezüglich der einzelnen Personen in Kategorien möglich (HALL/ HORD 2011, 95) und ist anhand der damit verbundenen Bedürfnisse der Akteure Basis für spezifische Implementationsschritte mit Blick auf eine erfolgreiche Umsetzung der Innovation (HALL/ HORD 2011, 98).

Die dargestellten Dimensionen sind Instrumente, um den Wandel in einer Organisation im Sinne der Veränderung einzelner Betroffener zu erfassen und daraufhin geeignete Führungs- und Lenkungsmaßnahmen abzuleiten. Die einzelnen Akteure mit ihren Handlungen und Verhaltensweisen bilden das Zentrum des Concerns-Based-Adoption-Model. HALL und HORD unterscheiden während eines Innovationsprozesses drei Arten von Akteuren, dem Change Facilitator Team (CFT), das sich aus Personen mit Leitungsfunktionen zusammensetzt und die Aufgabe der erfolgreichen Implementierung der Innovation verfolgt (HALL/ HORD 2011, 117 ff.). Im vorliegenden Fall handelt es sich hierbei um die Schulleitung und den Schulqualitätsprozessmanager. Zwei weitere Gruppen bilden Personen, die eine Innovation umsetzen (AnwenderInnen) oder nicht bzw. noch nicht anwenden (Nicht-AnwenderInnen).

Auf der dritten Ebene des hier vorgestellten Wirksamkeitsmodells liegt die Änderung des Outputs der Institution in Folge der externen Evaluation. Die letzte Stufe im Modell von KIRKPATRICK (1975, 14 ff.) bezieht sich auf erzielte Ergebnisse für die gesamte Organisation, die aufgrund einer erfolgreichen Anwendung des erlernten Wissens, der angeeigneten Fähigkeiten und Fertigkeiten von Teilnehmern vorliegen. Ein Zeichen für einen Geschäftserfolg kann übergreifend mit einer Qualitätsverbesserung bezeichnet werden (PHILIPPS/ SCHIRMER 2005, 28). Bei der Übertragung auf die Schule ist damit der Output der Institution, vor allem mit Blick auf die am Ende des Schulbesuchs erworbenen Kompetenzen, angesprochen.

Auf der vierten Ebene des Wirksamkeitsmodells liegt die Änderung des Outcomes der Institution in Folge der externen Evaluation. Innovationen tragen dazu bei, dass sich das Leben der Betroffenen ändert. Dimensionen und Indikatoren für solche Qualitäten und die damit verbundenen methodischen Probleme diskutieren ACHTENHAGEN und BAETHGE (2005). Sie heben zum Beispiel auf die Einkommensentwicklung aufgrund von Berufs-/ Qualifikationsabschlüssen ab (ACHTENHAGEN/ BAETHGE 2005). Solche Veränderungen müssten auf die externe Evaluation zurückzuführen sein.

Auf der fünften Ebene des Wirkungsmodells liegt der Return on Investment der externen Evaluation. PHILIPPS und SCHIRMER haben das o. g. Modell von KIRKPATRICK durch den Return on Investment (ROI) um eine weitere Stufe erweitert, der sich aus dem Quotienten zwischen Gesamtnutzen und Gesamtkosten berechnet (PHILIPPS/ SCHIRMER 2005, 26). Bei dieser Berechnung handelt es sich um einen Ergebnisvergleich zwischen dem monetären Nutzen des Programms und den entstandenen Kosten (PHILIPPS/ SCHIRMER 2005, 28). Eine externe Evaluation muss sich der Frage stellen, ob diese Investition mit Blick auf das veränderte Leben ihrer BürgerInnen lohnend ist. Die faktische Ermittlung des gesellschaftlichen ROI im Sinne des durch Phillips erweiterten KIRKPATRICK-Modells ist nicht Aufgabe des Pilotprojekts. Die Betrachtung der Wirtschaftlichkeit mit Blick auf die Schule sowie am Verfahren beteiligten Personen wird hingegen einschätzend-antizipativ berücksichtigt. Aus diesem Grund erfolgt die Gegenüberstellung als Verhältnis zwischen erzieltem Nutzen und dem entstandenen Aufwand. Die Wirtschaftlichkeit im Sinne einer Nutzen-Aufwand-Relation ergibt sich aus dem Quotienten zwischen Nutzen und Aufwand.

Der Begriff Nutzen wird in diesem Zusammenhang als positiver Effekt definiert, der sich sowie für einzelne Personen als auch die Bildungseinrichtung selbst aus der externen Evaluation ergibt. Beispielsweise könnte ein Erhalt neuer Informationen bzw. Hinweise zur Weiterentwicklung der Schule genannt werden, die zur Erreichung des Ziels der externen Evaluation beitragen. Dieser Sachverhalt wird dem Aufwand gegenübergestellt, der personelles Engagement, individuelle Aktivitäten sowie zu erbringende Leistungen ausdrückt, die im Rahmen des Verfahrens auszuführen sind. 

2 Wirksamkeitsanalyse des Peer Review in QIBB

2.1 Kontext der Wirksamkeitsanalyse: Das Peer Review in QIBB

"QIBB, die QualitätsInitiative BerufsBildung [...], ist eine Initiative der Sektion Berufsbildendes Schulwesen, Erwachsenenbildung und Schulsport des Bundesministeriums für Unterricht, Kunst und Kultur (BMUKK) zur Implementierung eines umfassenden Qualitätsmanagementsystems im österreichischen berufsbildenden Schulwesen" (BUNDESMINISTERIUM FÜR UNTERRICHT 2011, 41). QIBB bezieht sich auf den europäischen Bezugsrahmen für die Qualitätssicherung in der beruflichen Aus- und Weiterbildung (EQARF - European Quality Assurance Reference Framework for Vocational Education and Training) und orientiert sich an dessen Struktur, Schwerpunkt- und Zielsetzungen. Der Fokus des Qualitätsmanagementsystems richtet sich in QIBB auf die systematische Sicherung und Weiterentwicklung sowohl der Unterrichtsqualität, als auch der Qualität der Verwaltungsleistungen. QIBB umfasst also das pädagogische Handeln im Sinne einer Initiierung, Unterstützung und Begleitung von gesellschaftlich relevanten schulischen Bildungs- und Ausbildungsprozessen sowie den Tätigkeiten der Verwaltung in Form einer Herstellung, Absicherung und Weiterentwicklung der für das Lehren und Lernen notwendigen Rahmenbedingungen (BUNDESMINISTERIUM FÜR UNTERRICHT 2011, 41).

QIBB bezieht sich auf alle institutionellen Ebenen des Schulsystems, indem eine Implementierung von Instrumenten und Prozessen zur Qualitätssicherung und -entwicklung innerhalb der Schulaufsicht auf Landesebene, der Sektion Berufsbildung im BMUKK auf Bundesebene als auch auf Ebene der Schulen vorgesehen ist, um bei der Ausübung zentraler Aufgaben eine permanente Verbesserung durch wiederkehrende Evaluierungen zu erhalten. Die Grundprinzipien der Qualitätsarbeit beziehen sich auf Prozess- und Ergebnisqualität, indem der Entwicklungsprozess ein kontinuierliches Anwenden des Qualitätsregelkreises vorsieht, der Planung und Zielsetzung, der Umsetzung, der Evaluation und Messung sowie der Analyse, Auswertung und Berichterstattung (BUNDESMINISTERIUM FÜR UNTERRICHT 2011, 41).

Das Peer Review ist als externes Evaluationsverfahren im Rahmen einer Schwerpunktinitiative der Sektion Berufsbildung des Bundesministeriums für Unterricht, Kunst und Kultur zur Einführung eines umfassenden Qualitätsmanagementsystems in QIBB eingebunden und verfolgt das Ziel, eine Berufsbildungseinrichtung bei der Qualitätssicherung und -entwicklung zu unterstützen (GUTKNECHT-GMEINER 2007, 1). Peer Review ist also eine Methode zur Sicherung und Verbesserung der Qualität von Schulen, dessen Hauptaufgabe darin besteht, mit Hilfe der Ermittlung der Qualität einer Schule und der Unterbreitung nützlicher Verbesserungsvorschläge einen kontinuierlichen Prozess der Qualitätsentwicklung in der Bildungseinrichtung anzuregen (GUTKNECHT-GMEINER 2007, 2). Die Evaluation der Organisation durch Personen anderer Bildungseinrichtungen oder externer Stakeholder ermöglicht das Einholen von Sichtweisen außenstehender Personen, um sowohl 'blinde Flecken' der Schule aufzudecken als auch eine Rückmeldung über neue Wege für die Schulentwicklung zu erhalten. Das Peer Review bietet, durch die Zusammenkunft von Experten unterschiedlicher Bildungseinrichtungen, nicht nur Möglichkeiten zur Vernetzung sondern auch zum Austausch (GUTKNECHT-GMEINER 5. März 2007, 5), beispielsweise von Konzepten, Erfahrungen und Prozessen. Weitere Absichten des Verfahrens beziehen sich auf die Erhöhung von Chancengleichheit sowie die Förderung von "Transparenz und Vergleichbarkeit von Qualität in der Berufsbildung durch Schaffung einheitlicher Standards in Europa" (GUTKNECHT-GMEINER 2007, 1). Das Peer Review in QIBB basiert auf dem Europäischen Peer Review Verfahren und orientiert sich an dem gemeinsamen Bezugsrahmen zur Qualitätssicherung (CQAF) für die berufliche Bildung in Europa (GUTKNECHT-GMEINER 2007, 3 ff.).

Um eine Übertragbarkeit des europäischen Peer Reviews auf österreichische Schulen zu prüfen, beauftragte ARQA-VET das Österreichische Institut für Berufsbildungsforschung (öibf), im Rahmen einer Machbarkeitsstudie eine Adaptierung des europäischen Peer Review Verfahrens an die Erfordernisse österreichischer berufsbildender Schulen sowie erforderliche Rahmenbedingungen, Voraussetzungen und Unterstützungsleistungen für eine Implementierung auf nationaler Ebene zu klären (GUTKNECHT-GMEINER 2009, 7). Parallel dazu beauftragte die Sektion II Berufsbildung des Bundesministeriums für Unterricht, Kunst und Kultur (BMUKK) das öibf im Frühjahr 2008 mit der Durchführung einer österreichischen Pilotstudie, um die praktische Umsetzung des Peer Reviews zu untersuchen (GUTKNECHT-GMEINER 2009, 13). Im Rahmen dieser Pilotstudie haben sieben österreichische berufsbildende Schulen ein Peer Review Verfahren durchgeführt. Im Anschluss an die Pilotstudie erfolgte im Herbst 2009 die Entwicklung des 'Peer Review in QIBB Verfahrens' als freiwilliges externes Evaluationsverfahren im Rahmen der Qualitätsinitiative Berufsbildung (QIBB), das von der österreichischen Referenzstelle für Qualität in der Berufsbildung, ARQA-VET, koordiniert wird.

Die Durchführung der Wirksamkeitsanalyse des Peer Reviews erfolgte auf der Basis der Erfahrungen von sieben Bildungseinrichtungen, die im Schuljahr 2008/09 an einem Pilotversuch teilgenommen haben.

2.2 Ziel der Wirksamkeitsanalyse des Peer Review in QIBB

Die Wirksamkeitsanalyse des Peer Reviews erfolgte als formative Evaluation. Diese Evaluationsart dient der Qualitätssicherung und verfolgt das Ziel der Entwicklung und Optimierung einer Maßnahme. Die Form und Methodik der Evaluation wird konzipiert, um Schwachstellen in der Umsetzung einer Maßnahme zu identifizieren. Das Ergebnis der Evaluation sind Empfehlungen für eine Optimierung des untersuchten Vorgangs (TERGAN 2000, 25). Idealerweise erfolgt eine erste Rückmeldung von Ergebnissen im Rahmen einer formativen Evaluation während der Entwicklungsphase, um erzielte Ergebnisse unmittelbar in das Konzept zu integrieren (SCRIVEN 1972, 64). Die formative Evaluation verfolgte das Ziel der Entwicklung und Optimierung des Peer Reviews, in dem die Stärken bzw. Schwächen dieser externen Evaluation anhand der im Pilotversuch beteiligten Schulen ermittelt und auf deren Basis Verbesserungsvorschläge für die Weiterentwicklung des Verfahrens herausgearbeitet wurden. Für die einzelnen Phasen des Peer Reviews sind Empfehlungen unterbreitet worden, wobei sich der Fokus der Analyse insbesondere auf die vierte Phase des Peer Reviews, der Interpretation von Evaluationsergebnissen und die damit verbundene Umsetzung von Zielen und Maßnahmen bezieht, da dies eine der größten Herausforderungen für Bildungseinrichtungen darstellt.

Die Zielgruppe der Evaluation sind dabei alle beteiligten Stakeholder, indem alle durchführenden Personen auftretende Probleme bei der Durchführung durch Interaktion oder Diskussion erläutern, um umfassende Verbesserungsvorschläge für die Maßnahme zu erheben (KUCKARTZ/ DRESING/ RÄDIKER/ STEFER 2008, 17 ff.). Diese Evaluation richtet sich also an Personen bzw. Organisationen, die Verantwortung für die Durchführung der Maßnahme haben (SCHIMITZEK 2008, 24) und aufgrund ihrer Funktion in der Lage sind, zur Behebung qualitativer Defizite entsprechende Schritte einzuleiten.

2.3  Methodik der Wirksamkeitsanalyse

Die Wirksamkeitsanalyse beruht auf dem dargelegten Modell der Wirksamkeit der externen Evaluation.  Die erste Ebene wird erfasst, ebenso wie die zweite Ebene, die durch das Concerns-Based-Adoption-Modell berücksichtigt wird. Die dritte Ebene wird als Einschätzung der Lehrkräfte berücksichtigt. Aufgrund der zeitnahen Analyse des Pilotversuchs erfolgte eine Einschätzung der Lehrkräfte zur Veränderung des Outputs, also der Lernleistungen der SchülerInnen, die aus einzelnen Maßnahmen nach dem Peer Review resultieren. Die vierte Ebene des Modells – die Änderung des Outcome – wurde nicht berücksichtigt. Die fünfte Ebene – der Return on Investment – wurde als Einschätzung erfasst. Die Wirtschaftlichkeit des Verfahrens bezieht sich auf die Betrachtung von Nutzen versus Kosten. Die Betrachtung der Wirtschaftlichkeit mit Blick auf die Schule sowie am Verfahren beteiligter Personen wird einschätzend-antizipativ berücksichtigt. Aus diesem Grund erfolgt die Gegenüberstellung als Verhältnis zwischen erzieltem Nutzen und dem entstandenen Aufwand auf persönlicher und organisationaler Ebene.

Der Forschungsprozess wird, wie in der folgenden Abbildung visualisiert, in drei Phasen untergliedert. Im quantitativen Teil der Erhebung wurde das Ziel verfolgt, auf der Reaktionsebene die Zufriedenheit der am Verfahren beteiligten Personen zu erheben, um eine Rückmeldung hinsichtlich der Gefühle, Bewertungen und Einschätzungen zum Verfahren zu erhalten. Darüber hinaus ist die Adaptierung von Maßnahmen, die auf der Basis des Peer Reviews abgeleitet wurden, näher untersucht worden. Die Erhebung von Einschätzungen in Bezug auf eine Veränderung der Lernleistung von SchülerInnen anhand der Innovationen bildet den dritten Baustein der quantitativen Erhebung. Schließlich erfolgte, mit Blick auf das Peer Review Verfahren, eine Bewertung von Nutzen und Aufwand aus persönlicher und organisationaler Sicht, um eine Einschätzung zur Wirtschaftlichkeit des Peer Reviews zu erhalten.

Zunächst wurden auf der Basis der Erfahrungen des Pretests alle an dem Pilotversuch des Peer Review Verfahrens beteiligten Bildungseinrichtungen in einem zweistufigen quantitativen Verfahren befragt. In einem ersten Schritt wurden Personen mit direktem Bezug zum Verfahren gewählt, wie Schulleitung, Schulqualitätsbeauftragter, Peer Review Organisator und Beteiligte an der Erstellung des Selbstberichts befragt, um Rückmeldungen über vorhandene Probleme bei der Durchführung des Peer Reviews zu erhalten. Ein weiterer Untersuchungsschritt bezog sich auf alle Lehrkräfte der Pilotschulen, um die Adaptierung von Maßnahmen im Sinne des Grades der Betroffenheit (Stages of Concern) und des Grades der Verhaltensänderung (Levels of Use) einschätzen zu können. Diese Ergebnisse bildeten die Basis für die Auswahl von Pilotschulen, die anschließend qualitativ untersucht wurden, um weitergehende Erkenntnisse und Verbesserungsvorschläge für die Optimierung des Peer Reviews zu erhalten und diese in weitere Empfehlungen einarbeiten zu können.

Das Ziel des qualitativen Teils der Erhebung bestand zunächst darin, weitere Informationen zur Zufriedenheit mit dem Peer Review zu erhalten, da in diesem Erhebungsschritt auch Lehrkräfte integriert wurden, die bei der Durchführung des Verfahrens unbeteiligt oder lediglich durch die Teilnahme an einem Interview integriert waren, aber mit der Umsetzung der Innovationen konfrontiert werden. Der Fokus dieses Teilbereichs lag jedoch bei der Ermittlung und Optimierung von Verbesserungsvorschlägen für das Verfahren, um mögliche Felder für eine Weiterentwicklung der externen Evaluation aufzuzeigen.

Abb. 3:                  Phasen des Forschungsprozesses

3  Ergebnisse der Wirksamkeitsanalyse

Im Allgemeinen kann hinsichtlich des Peer Reviews unter den Pilotschulen eine übergreifende Akzeptanz des Verfahrens festgestellt werden. Das Verfahren wird primär als Möglichkeit betrachtet, 'blinde Flecken' aufzuzeigen. Eine hohe Zufriedenheit ist seitens der Personengruppe zu verzeichnen, die direkt in das Peer Review eingebunden war, insbesondere bei den Phasen „Vorbereitung“, „Peer Besuch“ und „Peer Bericht“. Teilweise konnte eine defizitäre Integration des Kollegiums in die Vorbereitungsphase festgestellt werden. Eine individuellere Abstimmung der Zeiträume zur externen Evaluation, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung von Ergebnissen wird von den beteiligten Schulen als notwendig erachtet. Darüber hinaus wurde eine inhaltliche Reduzierung des Selbstberichts, insbesondere bei der Umfeldanalyse gefordert. Von Seiten der Befragten wurde der Wunsch geäußert, den Prozess hinsichtlich finanzieller Abrechnungen zum Verfahren einfacher zu gestalten. Zum Teil wurden zu Beginn des Peer Besuchs die Peers nicht vorgestellt. Die Ergebnispräsentation und Berichterstattung im Rahmen der Feedback-Sitzung erfolgte nicht immer durch die Peers bzw. den Peer Koordinator, sondern auch durch schulinterne Personen. Das Treffen am Ende des Peer Besuchs wurde nur teilweise unter Einbeziehung aller Betroffenen zur anschließenden Diskussion zentraler Ergebnisse abgehalten. In diesem Zusammenhang wird eine Durchführung verpflichtender Konferenzen als sinnvoll erachtet. Eine Stellungnahme der evaluierten Bildungseinrichtung zum Rohbericht erfolgte nur teilweise. Die Zugänglichkeit zum Bericht war nicht immer gewährleistet. Ein Interesse an den Ergebnissen ist generell vorhanden, wobei der Bericht nur teilweise von Seiten der Lehrkräfte gelesen wird. Die Bewertung der Umsetzung von Maßnahmen fällt von Seiten der Personen mit direktem Bezug zum Verfahren etwas zurückhaltender aus. Mit Blick auf die Erhebung von Qualitätsdefiziten wurde eine Erarbeitung von Lösungen verstärkt innerhalb der Bildungseinrichtung erwünscht, da Vorschläge durch Peers zum Teil als nicht zielführend erachtet werden. Andere Schulen hingegen wünschten umfassendere Verbesserungsvorschläge zu den einzelnen Q-Bereichen durch die kritischen Freunde. Die Verarbeitung der Ergebnisse erfolgte nicht immer transparent und unter Integration des Kollegium. Der Peer Review Bericht wurde hierbei gelegentlich eingebunden. Es wurde der Wunsch geäußert, die Nachbereitung transparent und durch Einbeziehung aller Lehrkräfte zu gestalten. Teilweise wurde von Seiten der Befragten bemängelt, dass die Verarbeitung der Ergebnisse bzw. die Ableitung von Maßnahmen geringe Effekte zeige. In manchen Fällen wurden eine Steuergruppe und Projektteams gegründet sowie Workshops durchgeführt, um die Resultate aus dem Bericht aufzugreifen. Der vorgesehene Maßnahmenplan oder andere Dokumente wurden teilweise erstellt. Es wurde der Wunsch geäußert, das Peer Review durch eine Follow-up-Evaluation zu erweitern und die Ergebnisse in eine folgende Selbstevaluation oder weitere Begehung einzubinden. Darüber hinaus wurde Interesse an verschiedenen Unterstützungsmöglichkeiten geäußert.

In Bezug auf die durch die Peers angeregten schulischen Innovationen kann festgestellt werden, dass 70 % aller abgefragten Maßnahmen von Seiten des Kollegiums als erfolgreich adaptiert eingeschätzt werden. Allerdings führen die Maßnahmen in Folge des Peer Reviews aus Sicht der Lehrkräfte direkt eher zu einer geringeren Verbesserung der Lernleistung von SchülerInnen. Dies kann unter Umständen daran liegen, dass Innovationen nicht zwangsläufig im Bereich der Unterrichtsentwicklung erfolgen müssen.

Personen, die direkt in das Peer Review integriert sind, schätzen die Wirtschaftlichkeit des Verfahrens teilweise positiv ein, wobei ein Mehrwert im Sinne neuer Erkenntnisse aus dem Peer Review wahrgenommen wird. Die Bewertung des persönlichen Aufwands erfolgt überwiegend höher als der individuelle Nutzen. Auf der Schulebene wird die Wirksamkeit des Verfahrens weniger positiv beurteilt, wobei hier der Mehrwert für die Schule grundsätzlich höher sein müsste. Der Nutzen der Schulen wird durch hohe Werte eingeschätzt.

Die Kopplung des Peer Reviews an die Qualitätsbereiche im Sinne einer notwendigen Begutachtung des Kerngeschäfts wurde von den beteiligten Pilotschulen einengend wahrgenommen. Bei der Durchführung der Analyse entstand der Eindruck, dass punktuell eine Implementationsreihenfolge im Sinne einer Durchführung des Peer Reviews und anschließender Bestimmung von Prozessen und Zielen erfolgte bzw. eine vollständige Implementierung des Qualitätsmanagementsystems noch nicht abgeschlossen war. Die Rolle des Schulqualitätsprozessmanagers war in den beteiligten Schulen teilweise unklar.

Von Seiten der Befragten wurde der Wunsch geäußert, das Zeitfenster für das Verfahren, insbesondere für die Erstellung des Selbstberichts, den Peer Besuch und die Vorbereitung des Feedbacks durch die Peers, auszuweiten. Darüber hinaus ist eine online-basierte Datenerhebung im Zuge der externen Evaluation erwünscht. Übergreifend wurde aufgeführt, dass für die Qualitätsarbeit der Bildungseinrichtungen, insbesondere für die Umsetzung der Ergebnisse des Peer Reviews, zu wenige Werteinheiten vergütet werden. Auch die Bezahlung der Peers wurde als unzureichend bewertet. Aufgrund der geringen Vergütung ist es nicht möglich, externe Akteure für die Teilnahme am Verfahren zu gewinnen. Insbesondere gilt dies für Gutachter, die nicht im System beschäftigt sind.

3.1 Stärken des Peer Review Verfahrens

Das Peer Review Verfahren ist übergreifend akzeptiert und wird als Verfahren zur Erkennung 'blinder Flecken' betrachtet. Übergreifend kann unter dem erweiterten Qualitätsteam eine hohe Zufriedenheit und Identifikation mit der externen Evaluation festgestellt werden, speziell bei der Vorbereitungsphase, dem Peer Besuch sowie bei dem Peer Review Bericht. So wurden Verantwortlichkeiten für die Organisation des Verfahrens definiert, der Selbstbericht anhand eines strukturierten Verfahrens erstellt und die Agenda mit den Peers abgestimmt. Vor allem die positive Beurteilung des Peer Besuchs, insbesondere die angemessene Wiedergabe von Stärken und Schwächen der Schule, bescheinigt eine kompetente und urteilsfähige Arbeit der Peers. Von Seiten des erweiterten Qualitätsteams wird ein mittlerer bis hoher Nutzen durch das Peer Review bestätigt. Schließlich wurden 70 % der abgefragten schulischen Innovationen, basierend auf dem Peer Review, erfolgreich adaptiert.

3.2 Empfehlungen der Wirksamkeitsanalyse

Generell wird empfohlen, stärker zu gewährleisten, dass das Peer Review gemäß der Beschreibung im diesbezüglichen Handbuch durchgeführt wird und insbesondere die Kommunikation, Partizipation und Integration aller beteiligten Lehrkräfte gegeben ist.

Darüber hinaus werden folgende Vorschläge unterbreitet:

Im Allgemeinen sollte während des gesamten Verfahrens eine offene, transparente und intensive Informationspolitik verstärkt werden. Die Kopplung des Peer Reviews an die Qualitätsbereiche im Sinne einer notwendigen Begutachtung des Kerngeschäfts sollte überdacht werden. Im Rahmen weiterer Durchführungen von Peer Reviews wird angeraten, vorab eine umfassende Implementierung von QIBB zu prüfen, um als Folge der Definition von Zielen und Prozessen sowie auf der Basis einer Selbstevaluation ein externes Verfahren durchführen zu können. Darüber hinaus sollte die Struktur des QIBB, insbesondere in der Rolle des Schulqualitätsprozessmanagers, weiter ausdifferenziert bzw. stabilisiert werden. Pilotverfahren, die in einem engen Zeitschema durchzuführen sind, sollten vermieden bzw. in der Auswertung der Ergebnisse berücksichtigt werden. Für die Durchführung von Peer Review Verfahren sollte auf der Basis der schulinternen Vorgehensweise ausreichend Zeit zur Verfügung gestellt werden. Darüber hinaus sollte die Datenerhebung im Zuge der externen Evaluation online-basiert durchgeführt werden, um bei einer Follow-up-Evaluation auf vorliegende Daten zurückgreifen zu können. Für die Qualitätsarbeit der Bildungseinrichtungen, insbesondere für die Umsetzung der Ergebnisse des Peer Reviews, sollten eine ausreichende Anzahl von Werteinheiten vergütet werden. Auch das Honorar für die Peers sollte angemessen sein.

Die verschiedenen Gruppen der Bildungseinrichtungen sollten bereits zu Beginn des Verfahrens umfassend beteiligt werden, indem zunächst in einer vorangehenden Konferenz die Phasen und Strukturen der externen Evaluation, die Festlegung von Ziel und Zweck sowie die Auswahl der Qualitätsbereiche und Peers bzw. die Festlegung der Interviewpartner, anhand einer ganzheitlichen Einbeziehung der Lehrkräfte, in einem partizipativen Prozess erfolgt. Die Zeiträume zur externen Evaluation sollten individuell mit der Schule abgestimmt werden. Die Instrumente des Selbstberichts sollten komprimiert werden bzw. eine inhaltliche Auswahl individueller Schwerpunktsetzungen ermöglichen, indem irrelevante Informationen ausgegrenzt werden können. Im Selbstbericht ist klar zu definieren, ob Verbesserungsvorschläge von Seiten der Peers unterbreitet werden sollen. Spezielle Absprachen zwischen den Peers und der zu evaluierenden Einheit sollten auch im Hinblick auf die zeitliche Planung des Verfahrens Berücksichtigung finden. Eine Verbesserung zur einfacheren Gestaltung finanzieller Abrechnungen in Bezug auf das Peer Review ist zu überprüfen.

Zu Beginn des Peer Besuchs sollten eine Vorstellung der kritischen Freunde und eine weitere Erläuterung der zeitlichen Abläufe vor dem Kollegium erfolgen, um nicht in das Verfahren integrierte Lehrkräfte zu informieren und eine Basis für die Akzeptanz von Ergebnissen zu schaffen. Die Ergebnispräsentation und Berichterstattung im Rahmen der Feedback-Sitzung sollte in jedem Fall durch die Peers bzw. den Peer Koordinator und nicht durch schulinterne Personen vorgenommen werden. Das Treffen am Ende des Peer Besuchs sollte unter Einbeziehung aller Betroffenen von einer anschließenden Diskussion zentraler Ergebnisse gekennzeichnet sein.

Wie im Peer Review Handbuch vorgesehen, sollte eine Stellungnahme der evaluierten Bildungseinrichtung zum Rohbericht erfolgen, um vor Erstellung der Endversion Rückfragen stellen und Fehler bzw. Unrichtigkeiten vermeiden zu können. Mit Blick auf den Bericht sollte eine leichte Zugänglichkeit gewährleistet sein, um die Ergebnisse der externen Evaluation nachlesen zu können. Auch innerhalb des Peer Review Berichts kann über eine Komprimierung hinsichtlich der Beschreibung der Berufsbildungseinrichtung nachgedacht werden.

Die Erarbeitung von Maßnahmen sollte je nach Wunsch der Schule erfolgen, d. h. durch die Bildungseinrichtung selbst oder aufgrund der Vorschläge der Peers. In einer nachfolgenden Konferenz sollen mit Blick auf die Integration aller Beteiligten gewonnene Erkenntnisse vorgestellt und eine erste Ableitung und Priorisierung von Maßnahmen stattfinden, um eine kommunikative Verarbeitung und Diskussion der Resultate zu ermöglichen. Das Handbuch sollte für die Verarbeitung der Ergebnisse des Peer Reviews ausführliche Erläuterungen und umfangreiche Hilfestellungen für diese Phase anbieten. In diesem Zusammenhang sollte ein professionelles Projektmanagement verfolgt werden. Um diesen Schritt schon im Voraus einfacher zu gestalten, wurde ein Dokument in Bezug auf die Planung der Umsetzung von Maßnahmen entwickelt. Eine solche Vorlage sollte Teil des Handbuchs sein.

Die Rolle des Schulqualitätsprozessmanagers ist sowohl im Bereich der Verarbeitung von Ergebnissen als auch im übergreifenden Bereich des Qualitätsmanagements genau zu definieren. Es ist Aufgabe der Schulleitung, die Umsetzung von Maßnahmen anhand einer Integration der Daten in die schulinterne Struktur des Qualitätsmanagements bzw. der Nutzung eines Projektmanagements professionell zu gestalten. Diesbezüglich wird empfohlen, die Resultate frühzeitig in die vorhandenen Schulmanagement- und Schulentwicklungsstrukturen der Schule zu integrieren bzw. Workshops oder Arbeitsgruppen zu bilden. Im Peer Review Handbuch wird angeraten, mit Blick auf eine Ableitung weiterer Schritte einen Maßnahmenplan zu erstellen und weitere Unterstützung zur Integration in die vorhandenen Strukturen bzw. den Aufbau neuer Strukturen zu gewährleisten. Hierfür wurde ein Vorschlag unterbreitet, der eine Schließung des Qualitätsregelkreises vorsieht. Die vierte Phase des Peer Reviews könnte insofern noch weiter ausgebaut werden, indem eine Bewertung abgeleiteter Maßnahmen durch eine Follow-up-Evaluation erfolgt, beispielsweise durch eine Selbstevaluation oder eine Follow-up-Begehung.

Die Schulen sollten bei der Umsetzung von Empfehlungen nicht alleine gelassen werden und zeitnah Unterstützung abrufen können. Ohne die Bereitstellung entsprechender Ressourcen wird der Erfolg des Peer Reviews gefährdet: Mit Aufwand produzierte Anregungen für Innovationen drohen dann zu versanden. Unterstützung könnte durch eine Zusammenarbeit zwischen den Schulen und den pädagogischen Hochschulen bei der Verarbeitung der Ergebnisse erfolgen. Überdenkenswert scheint auch ein Austausch zwischen den Schulen, etwa durch Erfahrungsgruppen. Dabei könnte eine Kombination zwischen ‚realen‘ Treffen und virtueller Unterstützung sinnvoll sein. Angedacht werden sollte außerdem ein Benchmarking sowie weitere externe Beratung. Auch ein direkter Ansprechpartner, beispielsweise durch externe Experten oder das ARQA-VET- Team für einzelne Bereiche dürfte hilfreich sein.

4 Ausblick

Die Wirksamkeit externer Evaluation ist ein zentrales Element der Qualitätsentwicklung in beruflichen Schulen. Der hier vorgenommene Versuch einer Modellierung der Wirksamkeit sowie die Erfassung der einzelnen Ebenen kann als ein Versuch gewertet werden, die Wirksamkeit empirisch zu fassen, der gleichzeitig erhebungsökonomischen Restriktionen und Restriktionen der Datenqualität gerecht werden muss. Mit Blick auf die Bedeutung dieser Herausforderung wäre eine periodische Erfassung der Wirksamkeit anzuraten. Dafür sollten für zukünftige Analysen umfassendere Daten zur Verfügung stehen. Gerade die Follow-up-Planung sollte – ohne die Grundanlage des Peer Review zu zerstören und ohne eine unangemessene Kontrollanmutung in den Schulen zu fördern – erfasst werden. Ohne großen bürokratischen Aufwand sollte ein schlankes Monitoringsystem entwickelt werden. Das Monitoring sollte dabei als ‚natürlicher‘ Bestandteil des Peer Review auftauchen, d. h. der Prozess des Peer Review und die Instrumente im Handbuch wären von vorneherein unter Monitoringgesichtspunkten weiterzuentwickeln. Idealerweise erfolgt dies online, führt zu Transparenz und eröffnet Möglichkeiten der Zusammenarbeit der Schulen untereinander und mit externen Partnern. Gleichzeitig sind weitere Modellierungen zur Wirksamkeit sowie zur quantitativen und qualitativen Erhebung notwendig.

Literatur

ACHTENHAGEN, F./ BAETHGE, M. (2005): Kompetenzentwicklung unter einer internationalen Perspektive – makro- und mikrostrukturelle Aspekte. In: GONON, P. (Hrsg.): Kompetenz, Kognition und neue Konzepte der beruflichen Bildung. Wiesbaden, 25-54.

BRÄGGER, G./ BUCHER, B./ LANDWEHR, N. (2005). Schlüsselfragen zum Entwicklungsstand der externen Schulevaluation. In: BRÄGGER, G./ BUCHER, B./ LANDWEHR, N. (Hrsg.): Schlüsselfragen zur externen Schulevaluation. Bern, 19-76.

BUNDESMINISTERIUM FÜR UNTERRICHT, KUNST UND KULTUR (Hrsg.) (2011): Berufsbildende Schulen in Österreich. Eine Informationsbroschüre der Sektion Berufsbildung. Online: http://www.abc.berufsbildendeschulen.at/de/download.asp?id=33&theme=Information  
(10-6-2011).

CAPAUL, R. (2002): Die Bedeutung der Schulleitung bei der Gestaltung von Schulinnovationsprozessen. Journal für Schulentwicklung, Jg. 6 H. 2,16-30.

Capaul, R./ Seitz, H. (2011): Schulführung und Schulentwicklung. Theoretische Grundlagen und Empfehlungen für die Praxis. 3. Aufl. Bern.

CARSTENSEN, D. (1997): Wirksamkeit der internen und externen Evaluation von Lehre und Studium. Hannover.

DÖBERT, H./ RÜRUP, M./ DEDERING, K. (2008): Externe Evaluation von Schulen in Deutschland – die Konzepte der Bundesländer, ihre Gemeinsamkeiten und Unterschiede. In: DÖBERT, H./ DEDERING, K. (Hrsg.): Externe Evaluation von Schulen. Historische, rechtliche und vergleichende Aspekte, Münster, 63-152.

GUTKNECHT-GMEINER, M. (2009): Machbarkeitsstudie zur Umsetzung der Ergebnisse der europäischen Peer Review Projekte an österreichischen berufsbildenden Schulen. Endbericht. Wien.

GUTKNECHT-GMEINER, M. (Hrsg.) (2007): Europäisches Peer-Review-Handbuch für die berufliche Erstausbildung. Peer-Review als Instrument der Qualitätssicherung und
-entwicklung in der beruflichen Erstausbildung. Wien.

GUTKNECHT-GMEINER, M. (2007): Das Europäische Peer Review Verfahren. Impulsveranstaltung 5. März 2007. Online: http://www.peer-review-education.net/calimero/tools/proxy.php?id=12717 (10-12-2012).

HALL, G. E./ HORD, S. M. (2011): Implementing change. Patterns, principles, and potholes. Boston.

HUSFELDT, V. (2011): Externe Schulevaluation. Ein länderübergreifender Blick auf Forschungen und Modelle. In: QUESEL, C./ HUSFELDT, V./ LANDWEHR, N./ STEINER, P. (Hrsg.): Wirkungen und Wirksamkeit der externen Schulevaluation. Bern, 13-34.

KEMPFERT, G./ ROLFF, H.-G. (2002): Pädagogische Qualitätsentwicklung. Ein Arbeitsbuch für Schule und Unterricht. Beltz-Pädagogik.

KIRKPATRICK, D. L. (Hrsg.) (1975): Evaluating Training Programs: A Collection of Articles from the Journal of the American Society for Training and Development. Madison, Wisconsin.

KUCKARTZ, U./ DRESING, T./ RÄDIKER, S./ STEFER, C. (2008): Qualitative Evaluation. Der Einstieg in die Praxis. Wiesbaden.

LANDWEHR, N./ STEINER, P. (2007): Grundlagen der externen Evaluation. Q2E – Qualität durch Evaluation und Entwicklung, 1-40.

MÜLLER, S. (2002): Schulinterne Evaluation. Gelingensbedingungen und Wirkungen. Beiträge zur Bildungsforschung und Schulentwicklung. Bd. 18. Dortmund.

PHILIPPS, J. J./ SCHIRMER, F. C. (2005): Return on Investment in der Personalentwicklung. Der 5-Stufen-Evaluationsprozess. Berlin.

Quesel, C./ HUSFELDT, V./ LANDWEHR, N./ STEINER, P. (2011): Wirkungen und Wirksamkeit der externen Schulevaluation. Bern.

SCHIMITZEK, C. (2008): "Es ist etwas in Bewegung geraten!". Begleituntersuchung zur Startphase Selbstevaluation an allgemein bildenden Schulen in Baden-Württemberg. Bd. 1448. Berlin.

SCRIVEN, M. (1972). Die Methodologie der Evaluation. In: WULF, C. (Hrsg.): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen. München, 60-91.

TERGAN, S.-O. (2000): Grundlagen der Evaluation. ein Überblick. In: SCHENKEL, P. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg, 22-51.

bwp@ -Format: