Peer Review in QIBB – Erste Ergebnisse zur Umsetzung von externer Evaluation in österreichischen berufsbildenden Schulen

1 Einleitung und Entstehungshintergrund

Peer Review kam als Instrument der externen Evaluation erstmals im Schuljahr 2009/2010 als Angebot für interessierte und engagierte Schulen im Rahmen von QIBB zum Einsatz (die QualitätsInitiative BerufsBildung ist das Qualitätsmanagementsystem des österreichischen berufsbildenden Schulwesens, vgl. dazu www.qibb.at). Und obwohl das gerade einmal zwei Jahre zurückliegt (zum Zeitpunkt des Verfassens dieses Beitrags steht der Start des 3. Durchgangs 2011/2012 unmittelbar bevor), hat das Verfahren in diesem Kontext bereits „eine Geschichte“.

Nach Vorarbeiten in Österreich, in die auch das österreichische Unterrichtsministerium maßgeblich involviert war, bildete das Leonardo da Vinci Projekt „Peer Review in der beruflichen Erstausbildung“ (2004-2007) den Ausgangspunkt: Eine erste Version eines speziell für Einrichtungen der beruflichen Erstausbildung zugeschnittenen Europäischen Peer Review Verfahrens wurde in europäischer Zusammenarbeit entwickelt und in länderübergreifenden Pilotversuchen getestet (vgl. GUTKNECHT-GMEINER 2009, 12 f.). Zwei weitere EU-Projekte schlossen bis 2009 daran an (Peer Review Extended und Peer Review Extended II) und da die beteiligten österreichischen Schulen und die involvierten Projektpartner echtes Potential in dem entwickelten Instrumentarium sahen, entschloss sich die Sektion Berufsbildung des österreichischen Unterrichtsministeriums (die von Anfang an als Mitinitiator begleitend beteiligt war) zu weiteren Schritten: bereits 2008 wurde eine Machbarkeitsstudie zum Thema "Aufbau eines Peer Review Netzwerks für die Berufsbildung in Österreich" in Auftrag gegeben. Parallel dazu wurde im Schuljahr 2008/2009 eine Pilotstudie mit sieben Schulen durchgeführt und evaluiert (GUTKNECHT-GMEINER/ PROINGER 2009); zu diesem Pilotprojekt wurde außerdem eine Wirksamkeitsanalyse durchgeführt (siehe dazu BUICHL/ WILBERS 2011b in dieser Ausgabe), die gemeinsam mit der laufenden Meta-Evaluation des Verfahrens die Grundlage dafür bildete, dass Peer Review innerhalb von QIBB verankert werden konnte und auch in den kommenden Jahren ein fester Bestandteil der Qualitätssicherung und -entwicklung im Rahmen der QualitätsInitiative BerufsBildung sein wird.

Die Autoren/innen, die das Kernteam von ARQA-VET (der Österreichischen Referenzstelle für Qualität in der Berufsbildung) bilden, waren seit 2008 aktiv in diese Entwicklungen eingebunden und koordinieren seit 2009 das Verfahren. Die hier dargestellten Ergebnisse inklusive eines ersten Zwischenresümees basieren auf in Auftrag gegebener wissenschaftlicher Expertise in Verbindung mit der Verantwortlichkeit für die Qualitätssicherung und die Weiterentwicklung des Verfahrens.    

2 Verortung von Peer Review in QIBB

Externe Schulevaluation kann mit verschiedenen Funktionen bzw. Zielen verbunden sein. LANDWEHR unterscheidet folgende vier Hauptfunktionen externer Schulevaluation: Wissensgewinnung (die Schule erhält datengestütztes Qualitätswissen), Schulentwicklung (Schul- und Unterrichtsentwicklungsprozesse können zur Beseitigung von Qualitätsdefiziten und zum Ausbau von Stärken angestoßen werden), Rechenschaftslegung (die Schule erhält eine glaubwürdige Datengrundlage für einen Qualitätsnachweis) und Normendurchsetzung (geltende Normen werden bewusst gemacht und deren Umsetzung wird verbindlich eingefordert) (vgl. LANDWEHR 2011, 39ff.).

Abb. 1:    Wirkungsbereiche der externen Schulevaluation nach LANDWEHR (2011, 41), entnommen online aus einer Vortragspräsentation:  http://www.argev.ch/_files/Veranstaltungen/10_Juli_Wirksamkeit/Pr%C3%A4s._Landwehr.pdf  (05-10-2011).

Das Verfahren Peer Review in QIBB setzt den Schwerpunkt auf Wissensge winnung und Schulentwicklung: Es ist als schulentwicklungsorientiertes bottom-up-Modell einzuordnen. Erkennbar wird dies an folgenden Grundsätzen des Verfahrens, die den Schulen weitgehende Entscheidungsbefugnisse überantworten:

• Peer Review in QIBB ist ein freiwilliges Angebot, für das sich Schulen bewerben können, aber nicht müssen. Es wird nicht von einer übergeordneten Instanz angeordnet.

• Die Entscheidung über die auszuwählenden Qualitätsbereiche und Fragestellungen für das Peer Review trifft die Schule.

• Die Schule hat weiters die Möglichkeit, ihre Peers aus einer Peer Datenbank selbst auszuwählen – unter der Voraussetzung, dass Unvereinbarkeiten vermieden werden müssen.

• Die in der Peer Datenbank aufscheinenden Peers sind „Gleichgestellte“ aus dem System (z.B. Lehrer/innen, Schulexperten/innen usw.), d.h. sie stehen nicht in einem hierarchischen Verhältnis zu jenen Organisationen, die sie evaluieren (vgl. BUHREN/ ROLFF 2010, 25).

• Die Schule entscheidet, wie sie mit den Ergebnissen aus dem Peer Review umgeht. Es gibt keine Rechenschaftspflicht gegenüber der Schulbehörde. Die Schulen werden aber dabei unterstützt, die Ergebnisse aus dem Peer Review in ihren Qualitätsentwicklungsprozess einzubinden.

(vgl. http://www.peer-review-in-qibb.at/peer_review).

Die Fokussierung auf die Funktionen Wissensgewinnung und Schulentwicklung wird vor dem Gesamthintergrund des Qualitätsmanagementsystems QIBB erklärbar: Rechenschaftslegung erfolgt innerhalb von QIBB über die Selbstevaluation. Über regelmäßig zu verfassende Qualitätsberichte (von Schulen an die Landesschulaufsicht, von der Landesschulaufsicht an das BMUKK (Bundesministerium für Unterricht, Kunst und Kultur) und vom BMUKK an die breitere Öffentlichkeit) sowie damit in Zusammenhang stehende Bilanz- und Zielvereinbarungsgespräche wird der Funktion Rechenschaftslegung innerhalb des Qualitätsmanagementsystems Rechnung getragen. Peer Review als Element der externen Evaluation wurde ganz bewusst im Gegensatz dazu als schulentwicklungsorientiertes Modell eingeführt. Damit unterscheidet sich Peer Review grundsätzlich von anderen Modellen externer Evaluation, die ihren Fokus stark auf Rechenschaftslegung legen, wie z.B. Schulinspektionsmodelle, die in Deutschland und der Schweiz eingeführt wurden (vgl. bspw. DÖBERT/ DEDERING 2008).

Die Verortung von Peer Review als ein Instrument der externen Evaluation innerhalb von QIBB wird deutlich in der Abbildung 2, in der die verschiedenen Instrumente von QIBB im Rahmen des Qualitätsregelkreises aufgelistet sind.

Abb. 2:   Peer Review als integraler Bestandteil im Rahmen von QIBB

3 Beschreibung des Verfahrens

Peer Review in QIBB als ein in die QualitätsInitiative BerufsBildung des BMUKK eingebundenes externes Evaluationsverfahren hat das Ziel, die Qualitätsentwicklung an berufsbildenden österreichischen Schulen durch „kritisch-wohlwollende“ Rückmeldungen von Peers bzw. „Gleichgestellten“ zu ausgewählten Qualitätsbereichen/Fragestellungen der Schule anzuregen und zu unterstützen.

Die Rückmeldungen der Peers an die Schule betreffen zwei Qualitätsbereiche aus der Übersicht über jene 14 Europäischen Qualitätsbereiche, wie sie im Rahmen des Leonardo-da-Vinci Projekts „Peer Review in Initial VET“ entwickelt wurden (vgl. www.peer-review-in-qibb.at/fileadmin/PR/04_Q-Bereiche_V4.pdf). Die Schulen wählen aus dieser Übersicht zwei Qualitätsbereiche, wobei einer dieser Bereiche aus dem schulischen „Kerngeschäft Lehren und Lernen“ (Qualitätsbereiche 1-4) zu wählen ist. Die Evaluation durch die Peers im Rahmen von Peer Review in QIBB ist demnach grundsätzlich keine externe Evaluation, die die Funktionsfähigkeit eines eingeführten QM-Systems begutachtet, sondern sie bezieht sich auf die Inhalte zweier von insgesamt 14 definierten Qualitätsbereichen. Die Evaluation des Qualitätsmanagementsystems der Schule ist optional möglich, wenn eine Schule den Qualitätsbereich 14 „Qualitätsmanagement“ auswählt.

Die externe Evaluation erfolgt durch „gleichgestellte“ Personen anderer Bildungseinrichtungen (v.a. Lehrer/innen), aber auch – wenn die Schule dies wünscht – unter Einbindung externer Stakeholder, d.h. Personen außerhalb des Schulsystems (z.B. aus Unternehmen, mit denen die Schule kooperiert, oder aus Abnehmerinstitutionen etc.). In der Regel müssen alle Personen, die eine Peer Tätigkeit anstreben, über mindestens fünf Jahre Unterrichtserfahrung sowie Grundkenntnisse in Qualitätsmanagement verfügen, aber auch eine spezielle Peer Schulung absolviert haben. Weiters müssen die Kompetenzen der Peers – da Peer Review in QIBB eine inhaltliche Evaluation spezifischer Fragestellungen der betreffenden Schule ist – zu den schulischen Fragestellungen passen („Matching“ von Fragestellungen und Peers).

Die Sichtweisen außenstehender Personen nutzen der Schule, indem sie kritisches, aber konstruktives Feedback („auf gleicher Augenhöhe“) zu ausgewählten Fragestellungen erhält, aber auch indem sie mittels dieser externen Perspektive die Chance bekommt, ihre eigene Praxis zu reflektieren und so in einen (gegenseitigen) Lernprozess mit den Peers eintritt (vgl. GUTKNECHT-GMEINER et al. 2007). Indem die Schule durch das Feedback der Peers auf ihre Stärken, aber auch auf ihre Verbesserungsbereiche aufmerksam gemacht wird, fördert sie innerhalb des Kollegiums die Thematisierung bzw. den Erkenntnisgewinn zu bestimmten Fragen (vgl. LANDWEHR 2010).

Die Ergebnisse der Machbarkeitsstudie und die Erfahrungen aus dem Pilotprojekt resultierten in der Entscheidung des Unterrichtsministeriums, ein umfangreiches und gut funktionierendes Unterstützungsangebot für die Schulen zur Verfügung zu stellen. Zu den wichtigsten diesbezüglichen Angeboten zählen neben dem inhaltlichen und administrativen Support auch die Leistungen von so genannten Peer Review Berater/innen (siehe dazu auch: http://www.peer-review-in-qibb.at/service/beratung). Dabei handelt es sich um Lehrer/innen, die einen großen Erfahrungsschatz in Bezug auf Peer Review haben, da sie in verschiedensten Funktionen am Verfahren beteiligt waren. Den Schulen wird freigestellt, ob sie eine/n Berater/in – der/die sie hauptsächlich in der Vorbereitung auf das Peer Review (Formulierung/Präzisierung der Fragestellungen, Auswahl der Peers, Unterstützung beim Verfassen des Selbstberichts) unterstützt – in Anspruch nehmen wollen.

Peer Review in QIBB läuft in fünf logisch aufeinander folgenden Phasen ab (vgl. dazu ausführlich: http://www.peer-review-in-qibb.at/ablauf):

Abb. 3:   Phasen von Peer Review in QIBB

0  Bewerbung: In einer jährlichen Bewerbungsphase können sich interessierte Schulen für ein Peer Review in QIBB Verfahren bewerben. Die Auswahl der Schulen erfolgt anhand definierter und transparenter Kriterien durch die dafür zuständige AG Evaluation des BMUKK[1].

1  Vorbereitung: Der erste Schritt umfasst die Entscheidung der Schule über die zu evaluierenden Qualitätsbereiche. Danach wählt die Schule ein vier-köpfiges Peer Team aus, von dem sie sich aufgrund der Profile in der Peer Datenbank erwartet, dass die  Fragestellungen gut beantwortet werden. Die Hauptaufgabe der Peers besteht darin, die „spezifische Situation der evaluierten Berufsbildungseinrichtung zu verstehen und kritisches Feedback zu geben“ (GUTKNECHT-GMEINER et al. 2007, 38).  Zentral ist, „dass die Peers in keinem Abhängigkeitsverhältnis zur Schule stehen, d.h. eine neutrale und formal unbeeinflusste Position einnehmen können“ (BUHREN/ ROLFF 2010, 26). Die Schule verfasst einen Selbstbericht, in dem sie Stärken und Verbesserungsbereiche in den ausgewählten Qualitätsbereichen darstellt. Je mehr Personen aus dem Kollegium bei der Erstellung des Selbstberichts involviert sind, desto höher wird die Akzeptanz des gesamten Verfahrens sein (vgl. GUTKNECHT-GMEINER et al. 2007, 16). Bei der Erstellung des Selbstberichts werden die Schulen, wenn sie dies möchten, von Peer Review Beratern/innen unterstützt. Im letzten Schritt dieser ersten Phase wird der Peer Besuch vorbereitet.

2  Peer Besuch: Die Peers evaluieren während des Peer Besuchs innerhalb von zwei Tagen auf Basis des Selbstberichts die von der Schule ausgewählten Qualitätsbereiche, indem sie Evaluationen mittels Interviews, Gruppendiskussionen, Rundgängen, Unterrichtsbesuchen etc. durchführen. Diese kurze und verdichtete Evaluation hat das Ziel, „möglichst viele Informationen von den verschiedenen Gruppen (…) zu erhalten“ (GUTKNECHT-GMEINER et al. 2007, 20). Der Peer Besuch endet mit einem mündlichen Feedback – der mündlichen Präsentation der Ergebnisse (Stärken und Verbesserungsbereiche) – des Peer Teams an die Schule. Nur auf Wunsch der Schule sollen die Peers auch Empfehlungen unterbreiten. Dieses abschließende Treffen ist von hoher Relevanz für die Schule, da sie hier die Möglichkeit hat, die Ergebnisse zu kommentieren und alle Beteiligten unmittelbar informiert werden können.

3  Peer Bericht: Der Peer Review Bericht, in dem die Peers ihre Ergebnisse schriftlich festhalten, weist eine ähnliche Struktur wie der Selbstbericht auf (Stärken, Verbesserungsbereiche etc.). Die Schule hat die Möglichkeit, den zunächst von den Peers erstellten Rohbericht zu kommentieren und somit die darin enthaltenen Rückmeldungen zu validieren. Um alle Beteiligten zu informieren, aber auch um deren Motivation für die Nachbereitung des Verfahrens zu gewinnen, sollten „alle relevanten internen Anspruchsgruppen (…) Zugang zu diesem Bericht erhalten“ (GUTKNECHT-GMEINER et al. 2007, 28). 

4  Konkrete Maßnahmen: Diese Phase – die Interpretation von Evaluationsergebnissen und die damit verbundene Ableitung von Zielen und Maßnahmen – zählt sicherlich zu den größten Herausforderungen im Verfahren. Die Verarbeitung der Ergebnisse sollte als systematischer Prozess, mit Hilfe einer offenen Kommunikation und Diskussion sowie unter Involvierung aller Beteiligten, folgende Schritte beinhalten: gemeinsame Planung der Maßnahmen mit allen Beteiligten, um eine hohe Motivation und Veränderungsbereitschaft zu erzielen; Abklärung erforderlicher Ressourcen und Unterstützungsleistungen; Erarbeitung eines Maßnahmen- und Zeitplans, der in den gesamten QIBB-Prozess der Schule integriert werden soll; Evaluierung umgesetzter Maßnahmen, um die Zielerreichung zu überprüfen und den kontinuierlichen Qualitätsverbesserungsprozess umzusetzen (ev. durch ein erneutes Peer Review) (vgl. GUTKNECHT-GMEINER et al., 30ff.).

Bei der Implementierung des Verfahrens wurde darauf geachtet, dass ein möglichst gutes Unterstützungssystem für die Schulen, die Peers, die Berater/innen und andere Involvierte aufgebaut wird, das neben klaren Aufgaben- und Rollendefinitionen auch eine transparente Auswahl- und Ablaufstruktur festschreibt. Ausführlich dokumentiert ist online unter  http://www.peer-review-in-qibb.at/peer_review/peer_review_in_qibb.

4 Meta-Evaluation und zentrale Ergebnisse

ARQA-VET hat in Kooperation mit der Karl-Franzens-Universität Graz im Rahmen eines  Dissertationsprojekts[2] ein Meta-Evaluationssystem entwickelt. Dieses im ersten Durchgang von Peer Review in QIBB (im Schuljahr 2009/10) erstmals erprobte Meta-Evaluationssystem sieht die Befragung aller zentralen, am Verfahren beteiligten Gruppen vor (Peers, Schulleiter/innen, Peer Review Organisatoren/ innen, Berater/innen). Im Rahmen der Meta-Evaluation wurden sowohl quantitative (Fragebögen) als auch qualitative Instrumente (Fokusgruppen, Interviews) eingesetzt.

Die Meta-Evaluation verfolgt einerseits das Ziel, eine Qualitätssicherung des gesamten Verfahrens zu gewährleisten, andererseits soll auf Basis der Ergebnisse eine evidenzbasierte, systematische Weiterentwicklung des Peer Review in QIBB Verfahrens ermöglicht werden. Mit den Instrumenten der Meta-Evaluation werden die Prozessqualität (Verfahrensablauf und -organisation, Unterstützungsangebote) sowie die Akzeptanz des Verfahrens bei den zentralen beteiligten Personengruppen erfasst. Die beteiligten Schulen werden dazu relativ zeitnahe im Anschluss an den Peer Besuch befragt. Die Überprüfung der Wirksamkeit des Verfahrens – also die Frage, ob und in welchem Ausmaß die beteiligten Schulen auf Basis von Ergebnissen aus dem Peer Review tatsächlich Maßnahmen umgesetzt haben, ist nicht Thema der Meta-Evaluation. Zur Beantwortung dieser Fragen wurde ein Konzept für eine Wirksamkeitsanalyse für Peer Review in QIBB entwickelt (vgl. BUICHL/ WILBERS 2011a).

Bei den anschließenden Ausführungen ist zu beachten, dass die Grundgesamtheit im ersten Durchgang von Peer Review in QIBB nur neun Schulen umfasste. Weiters kamen in diesem ersten Durchgang insgesamt 29 Personen als Peers zum Einsatz. Unterstützung im Prozess wurde von sechs geschulten Peer Review Beratern/innen angeboten.

Die folgende Tabelle gibt einen Überblick über die befragten Gruppen, die eingesetzten Methoden sowie die Befragungsinhalte im Rahmen der Meta-Evaluation:

Tabelle 1:  Peer Review in QIBB Meta-Evaluation

Folgende Hauptergebnisse können aus der Meta-Evaluation des ersten Durchgangs von Peer Review in QIBB festgehalten werden (vgl. WULZ/ JONACH 2011):

• Die Akzeptanz des Verfahrens sowie der eingeschätzte Nutzen wurden von den teilnehmenden Schulen als sehr hoch eingeschätzt (zum gleichen Ergebnis kamen auch  BUICHL/ WILBERS 2011a im Rahmen der Wirksamkeitsanalyse des Pilotprojekts). Acht von neun befragten Schulleiter/innen gaben diesbezüglich positive Rückmeldungen und würden sich aus heutiger Sicht noch einmal für ein Peer Review entscheiden bzw. gaben an, dieses Instrument in Zukunft wieder nutzen zu wollen. Ähnlich positive Rückmeldungen gaben die befragten Peer Review Organisatoren/innen an den Schulen.

• Im Hinblick auf die Bewältigung der Vorbereitungsarbeiten für das Peer Review konnte das Verfassen des erforderlichen Selbstberichts gut von den Schulen bewältigt werden, es stand auch ausreichend Zeit dafür zur Verfügung. Schwierigkeiten hatten die Schulen des ersten Durchgangs bei der Suche nach geeigneten Peers für die von ihnen gewählten Qualitätsbereiche und Fragestellungen. Ursache dafür könnte der zum damaligen Zeitpunkt noch nicht ausreichend große Peer Pool in der Peer Datenbank gewesen sein (für neun Schulen standen damals 30 geschulte Peers zur Verfügung). Aber auch die inhaltliche Dimension des „Matchings“ von Peers und Fragestellungen dürfte für einige Schulen eine Herausforderung dargestellt haben.

• Die Organisation des Peer Besuchs konnte von den beteiligten Schulen gut bewältigt werden. Die Zusammenarbeit zwischen Peer Team und Schule im Rahmen der Vorbereitung des Peer Besuchs funktionierte gut; in wenigen Fällen bereitete die Organisation der erforderlichen Interviewpartner/innen bzw. Teilnehmer/innen von Fokusgruppen, die von den Peers im Rahmen des Peer Besuchs befragt werden sollten, Probleme.

• Die Unterstützungsangebote beurteilten die Peer Review Organisatoren/innen an den Schulen fast durchgängig positiv. Als besonders nützlich wurden die Homepage mit den dazugehörigen Unterlagen, die telefonische Unterstützung durch die Koordinationsstelle ARQA-VET sowie die Unterstützung durch die Peer Review Berater/innen bewertet. Keine gute Rückmeldung bekam die – ebenfalls als ein Unterstützungsangebot geplante – Peer Review Online Community; die Anzahl der potenziellen Nutzer/innen war offensichtlich zu klein, um die Community tatsächlich als Austauschforum zu verankern.

• Mit der Zusammensetzung des Peer Teams sowie der Abwicklung des Peer Besuchs durch das Peer Team, mit den eingesetzten Evaluationsmethoden sowie mit der Qualität und Brauchbarkeit des Feedbacks zeigten sich sowohl Schulleiter/innen als auch Peer Review Organisatoren/innen sehr zufrieden. Die Peers wurden von den Schulen als professionell und kompetent erlebt.

• Die befragten Peers waren – von wenigen Ausnahmen abgesehen – zufrieden mit der Zusammensetzung der Peer Teams und gaben an, dass die Aufgaben im Team gut verteilt werden konnten. Für mehrere Peer Teams stellte sich das Zeitmanagement im Rahmen des Peer Reviews als schwierig heraus. Übervolle Ablaufpläne, die zu viele Erhebungsphasen und vergleichweise zu wenige Analysephasen für die Peer Teams beinhalteten, dürften eine wesentliche Ursache für dieses Problem gewesen sein (zu ähnlichen Ergebnissen kommt SPEER 2010, 425). Die Aufgabe, eine externe Evaluation durchzuführen, wurde von den Peers durchaus als Herausforderung gesehen; aus den qualitativen Rückmeldungen ging hervor, dass ein Teil der befragten Peers mehr Fortbildungsangebote wünschte.

5 Resümee: Erfahrungen aus der Implementierung eines externen Evaluationsverfahrens im Rahmen eines bestehenden Qualitätsmanagementsystems

Mit Peer Review in QIBB wurde im Rahmen der österreichischen QualitätsInitiative BerufsBildung im Jahr 2009 erstmals ein externes Evaluationsverfahren eingeführt. Österreichische berufsbildende Schulen hatten bis dahin ausreichend Erfahrung mit Selbstevaluation gesammelt und die zentralen Elemente des Qualitätsmanagementsystem QIBB waren implementiert. Das – freiwillige – Angebot einer externen Evaluation war ein Novum, das von allen Beteiligten erst ein- und zugeordnet werden musste. Als essentiell für eine erfolgreiche Implementierung, die nachhaltige Qualitätsentwicklung an den Schulen fördert, haben sich folgende Faktoren erwiesen:

• Das Schaffen einer Vertrauenskultur, vor allem im Umgang mit von Schulen stammenden sensiblen Informationen, hat sich als Grundvoraussetzung für die Durchführung des Verfahrens erwiesen. Ohne Klarheit darüber, welche am Verfahren beteiligten Gruppen (z.B. Koordinationsstelle, Peers, Berater/innen) welche Informationen erhalten, ist das Verfahren nicht angemessen durchführbar. Unsicherheiten dahingehend, dass übergeordnete Instanzen (Schulaufsicht, BMUKK) von Peer Review Ergebnissen einer Einzelschule erfahren, konnten bis jetzt nicht vollständig ausgeräumt werden. An der weiteren Verankerung dieser Vertrauenskultur zu arbeiten wird eine Schwerpunktaufgabe bleiben.

• Peer Review bringt als freiwilliges, schulentwicklungsorientiertes Modell viele Vorteile insbesondere hinsichtlich der Akzeptanz des Verfahrens mit sich. Die vielen Freiheitsgrade im Rahmen des Modells (Entscheidung über die Teilnahme überhaupt, Auswahl der Peers, Auswahl der Qualitätsbereiche und Fragestellungen, Umgang mit Ergebnissen) bedingen allerdings auch zahlreiche Herausforderungen und vor allem Entscheidungserfordernisse für die Schulen. Die Erfahrung aus der ersten Implementierungsphase zeigt, dass hier ein ausreichend ausgestattetes Unterstützungssystem ein wesentlicher Erfolgsfaktor ist.

• Die Einbindung der externen Evaluation in das bestehende Qualitätsmanagementsystem (im konkreten Fall in QIBB) muss sorgfältig überlegt und gehandhabt werden. Die Autoren/innen haben die Erfahrung gemacht, dass Schulen die externe Evaluation in den ersten Jahren häufig als etwas „eigenes“ wahrgenommen haben, das neben dem bisher implementierten QM-System steht, aber nicht als integraler Bestandteil desselben gesehen wird. Um dieser Herausforderung zu begegnen, wurden die Schulen im Beratungs- und Unterstützungsprozess ermutigt, vorhandenes Datenmaterial aus bereits stattgefundenen Selbstevaluationen für die Erstellung des Selbstberichts zu nutzen sowie die Ergebnisse aus dem Peer Review in bereits vorhandene Berichts- und Planungsinstrumente zu integrieren.

• Eine wichtige Erkenntnis ist, dass Klarheit über die Rollen und Aufgaben der im Prozess beteiligten Personen keineswegs eine Selbstverständlichkeit ist, sondern dass es viel an Zeit und Auseinandersetzung bedarf, um ein Verständnis dafür zu erzeugen, wer in welcher Funktion mit welchen Aufgaben betraut ist (vgl. dazu auch KEMPFERT/ ROLFF 2005, 241). Insbesondere die Rolle der Peers war für die beteiligten Schulen ungewohnt. Umgekehrt nahm es trotz verbindlicher Schulungsangebote und weiterführender Informationen relativ viel Zeit in Anspruch, um bei den Peers ein adäquates  Rollenverständnis zu erzeugen. Gerade zu Beginn waren Rollenkonfusionen keine Seltenheit. Auch hat es sich als notwendig und sinnvoll erwiesen, relativ detaillierte Regelungen für die Zusammensetzung von Peer Teams vorzuschreiben und auf eine Reihe von Unvereinbarkeiten hinzuweisen. Als qualitätssicherndes Element wurde die Überprüfung der Zusammensetzung der Peer Teams im Hinblick auf die Qualitätsbereiche und Fragestellungen der Schulen sowie im Hinblick auf mögliche Unvereinbarkeiten (z.B. zu starkes Naheverhältnis der Peers zu den evaluierten Schulen) eingeführt.

• Die Anforderungen an die Peers sind relativ hoch. Neben den fachlichen Kenntnissen über die zu evaluierenden Qualitätsbereiche sowie Kenntnissen in Qualitätsmanagement und Evaluation sind vor allem hohe soziale Kompetenzen (Teamfähigkeit, Kommunikationsfähigkeit, Rollendistanz usw.) erforderlich, um der Aufgabe eines Peers gerecht zu werden. Zur möglichst guten Vorbereitung auf ihre Rolle wurden neben einer Grundausbildung für Peers inzwischen auch Fortbildungsangebote eingeführt.

• So wie für das Gelingen der Arbeit mit einem Qualitätsmanagementsystem an und für sich ist es auch bei der externen Evaluation entscheidend, dass die Schulleitung der beteiligten Schule vorbehaltlos hinter dem Verfahren steht. Mit anderen Worten: es gibt nicht nur hoch motivierte Schulleitungen, die das Verfahren optimal für die Weiterentwicklung ihrer Schule nutzen und denen es gelingt, das gesamte Kollegium sehr gut in den Prozess einzubeziehen, was eine wichtige Voraussetzung für die gelungene Umsetzung des Verfahrens ist (vgl. KEMPFERT/ ROLFF 2005, 237). Manchmal stellen – obwohl es sich bei Peer Review in QIBB um ein freiwilliges Angebot für Schulen handelt – nicht qualitätsentwickelnde Faktoren, sondern Nebenfaktoren (z.B. Marketingaspekte, „informeller Aufruf zur Beteiligung“ durch die Landesschulaufsicht) die wesentlichen Anreize für eine Beteiligung am Verfahren dar. Das Ergebnis ist den bisherigen Erfahrungen nach in solchen Fällen oft suboptimal: Es kommt in der Regel zu Konflikten der Leitung mit dem Kollegium und den Qualitätsverantwortlichen, die der Schule eher schaden als nutzen; häufig bleiben die Ergebnisse aus dem Peer Review dann ungenützt. Eine Herausforderung besteht diesbezüglich darin, die Motivlagen der Schulen im Rahmen der Bewerbung zu erfassen, zu klären und die Funktion sowie die mit dieser spezifischen externen Evaluation verbundenen Möglichkeiten gezielt aufzuzeigen.

Zu dem insgesamt positiven Zwischenresümee trägt auch die Tatsache bei, dass die Sektion Berufsbildung des Unterrichtsministeriums Peer Review voll in ihr Qualitätsmanagementsystem integriert und klar kommuniziert hat, dass es in den kommenden Jahren eine feste Anzahl von Plätzen, um die sich die Schulen bewerben können, für dieses qualitativ hochwertige, aber auch kostenintensive Verfahren geben wird. Schließlich wurde mit der systematischen Vorgehensweise in relativ kleinem Rahmen die Möglichkeit realisiert, in diesem überschaubaren Setting konzeptionelle, organisatorische und inhaltliche Entscheidungen zu treffen und zu erproben, die dann in der Folge für QIBB insgesamt relevant und anwendbar werden können.

Literatur

BRÄGGER, G./ BUCHER, B./ LANDWEHR, N. (2005): Schlüsselfragen zur externen Schulevaluation. Bern.

BUHREN, C. G./ ROLFF, H.-G. (2010): Voneinander Lernen durch Peer Reviews. In: Journal für Schulentwicklung 4/2010, 24-28.

BUICHL, M./ WILBERS, K. (2011a): Analyse der Wirksamkeit und der Möglichkeiten der Weiterentwicklung des Peer Review in European VET. Eine Studie auf Basis der Erfahrungen des Pilotversuchs an berufsbildenden Schulen im Rahmen der österreichischen Qualitätsinitiative Berufsbildung (QIBB). Unveröff. Forschungsbericht. Nürnberg.
Kurzfassung online:
www.arqa-vet.at/fileadmin/PR/Summary_PR_Wirksamkeitsanalyse.pdf  (10-10-2011).

BUICHL, M./ WILBERS, K. (2011b): Wirksamkeit externer Evaluation - eine Analyse der Wirksamkeit des European Peer Review im Rahmen der österreichischen Qualitätsinitiative Berufsbildung. In: bwp@ Berufs- und Wirtschaftspädagogik – online, Ausgabe 21. Online: http://www.bwpat.de/ausgabe21/buichl_wilbers_bwpat21.pdf  (in Vorbereitung).

DÖBERT, H./ DEDERING, K. (Hrsg.) (2008): Externe Evaluation von Schulen. Historische, rechtliche und vergleichende Aspekte. Münster u.a.

GUTKNECHT-GMEINER, M. (2008): Externe Evaluierung durch Peer Review. Qualitätssicherung und -entwicklung in der beruflichen Erstausbildung. Wiesbaden.

GUTKNECHT-GMEINER, M. (2009): Machbarkeitsstudie zur Umsetzung der Ergebnisse der europäischen Peer Review Projekte an österreichischen berufsbildenden Schulen: Endbericht. Wien. Online: www.arqa-vet.at/fileadmin/download_files/Machbarkeitsstudie_oeibf_18-02-09.pdf (03-10-2010).

GUTKNECHT-GMEINER, M./ LASSNIGG, L./ STÖGER, E./ RIDDER DE, W./ STRAHM, P./ STRAHM, E./ KOSKI, L./ STALKER, B./ HOLLSTEIN, R./ ALLULLI, G./ KRISTENSEN, O. (2007): Europäisches Peer Review Handbuch für die berufliche Erstausbildung. Wien. Online: www.peer-review-education.net/calimero/tools/proxy.php?id=12385 (03-10-2010).

GUTKNECHT-GMEINER, M./ PROINGER, J. (2009): Peer Review-Pilotversuch an berufsbildenden Schulen im Rahmen von QIBB, inkl. Mentoring Peer Review. Unveröff. Endbericht. Wien.

JONACH, M./ WULZ, G./ GRAMLINGER, F. (2011): Qualitätsmanagement im berufsbildenden Schulwesen in Österreich. Der Qualitätsregelkreis als Kernelement der QualitätsInitiative BerufsBildung (QIBB). In: Journal für Schulentwicklung, 15. Jg., H. 1/2011, 42-47.

KEMPFERT, G./ ROLFF, H.-G. (2005): Qualität und Evaluation. Ein Leitfaden für Pädagogisches Qualitätsmanagement. Weinheim, Basel.

LANDWEHR, N. (2011): Thesen zur Wirkung und Wirksamkeit der externen Schulevaluation. In: QUESEL, C./ HUSFELDT, V./ LANDWEHR, N./ STEINER, P. (Hrsg.): Wirkungen und Wirksamkeit der externen Schulevaluation. Bern, 35-70.

LANDWEHR, N./ STEINER, P. (2007): Grundlagen der externen Schulevaluation. Verfahrensschritte, Standards und Instrumente zur Evaluation des Qualitätsmanagements.  Heft 5 der Reihe: Q2E: Qualität durch Evaluation und Entwicklung. 2. Aufl., Bern.

SPEER, S. (2010): Peer Evaluation and Its Blurred Boundaries: Results from a Meta-evaluation in Initial Vocational Education and Training. In: Evaluation, Vol.16, No. 4, 413-430.

WULZ, G./ JONACH, M. (2011): Peer Review in QIBB - Durchführungsbericht 1. DG 2009/10. Wien. Online: www.arqa-vet.at/fileadmin/PR/PR_Bericht_2009-10_ARQA-VET.pdf  (03-10-2010).

Online-Quellen

www.arqa-vet.at

www.peer-review-education.net

www.peer-review-in-qibb.at

www.qibb.at

[1]   Die Arbeitsgruppe Evaluation der Sektion II (Berufsbildendes Schulwesen; Erwachsenenbildung; Schulsport) des Bundesministeriums für Unterricht, Kunst und Kultur wurde von der QIBB Steuergruppe eingerichtet und besteht aus Mitgliedern der Steuergruppe und von ARQA-VET.

[2]   An dieser Stelle bedanken sich die Autoren/innen herzlich bei Andrea ASINGER für die gute und produktive Zusammenarbeit.

bwp@ -Format: