Partner von bwp@:
Beitrag von Ulf BRÜDIGAM & Christian MARTIN (Schulinspektion Hessen & Universität Kassel)
Mit der Einführung von Qualitätsmanagementsystemen an Beruflichen Schulen stellt sich für die externe Evaluation (Breitbandevaluation) die Herausforderung, verstärkt auf jene Aspekte einzugehen, die traditionell in den Bereich der Metaevaluation des Qualitätsmanagements (QM) gehören. So müssen sich in Hessen die Schulen, die sich für die nach dem 2011 novellierten Hessischen Schulgesetz ermöglichte Selbstständigkeit entscheiden, ein QM-System einführen. Erfolgt dies auf der Basis des Q2E-Modells, ist vorgesehen, ihnen ab 2012 eine Metaevaluation nach Q2E kombiniert mit Elementen der Schulinspektion im Rahmen einer Primärevaluation des Qualitätsbereichs „Lehren und Lernen“ des Hessischen Referenzrahmens für Schulqualität anzubieten. Hierfür wurde das Verfahren QEE-Hessen konzipiert und pilotiert. In dem Verfahren wird der Qualitätsbegriff an den beruflichen Schulen in Hessen dergestalt konkretisiert, dass zwei Qualitätskonzepte - Q2E und Schulinspektion - zusammengeführt werden. Die Reflexion des Verfahrens und seiner Pilotierung erfolgt auf den Grundlagen der beiden kombinierten Verfahren externer Evaluation sowie auf alltagstheoretischer und auf wissenschaftstheoretischer Ebene. Die Autoren machen Optimierungsvorschläge und stellen als positives Ergebnis fest, dass durch QEE-Hessen für alle Maßnahmen der schulischen Qualitätsentwicklung und -sicherung nun der Hessische Referenzrahmen Schulqualität als verbindlicher Orientierungsrahmen dient, der einheitliche Kriterien vorgibt, auf dessen Basis selbstständige Berufliche Schulen entwickelt, evaluiert, legitimiert und gesteuert werden können.
QEE-Hesse: a combined procedure for the external evaluation of independent schools in the federal state of Hesse
With the introduction of quality management systems at vocational schools the challenge arises for external evaluation (broadband evaluation) increasingly to address those aspects which traditionally belong to the area of the meta evaluation of quality management (QM). So, for example, those schools in the federal state of Hesse who decide on the independence made possible by the new school law passed in Hesse in 2011 have to introduce a QM system. If this ensues on the basis of the Q2E model, the intention is to offer them a meta evaluation from 2012 with Q2E combined with elements of the school inspection in the context of a primary evaluation of the quality sector “Teaching and Learning” of the reference framework for school quality in Hesse. The QEE-Hesse procedure was conceived and piloted for this purpose. In the procedure the concept of quality at vocational schools in Hesse is concretised in such a way that two quality concepts – Q2E and school inspection – are brought together. The reflection of the procedure and its piloting takes place on the foundations of the external evaluation of both of the combined procedures as well as of an everyday theoretical level and of a scientific theoretical level. The authors make suggestions for improvements and establish the positive finding that through QEE-Hesse the school quality reference framework serves as a binding orientation framework for all the measures of school quality development and quality assurance. The framework provides uniform criteria on the basis of which independent vocational schools can be developed, evaluated, legitimised and guided.
Eine Konzeptgruppe bestehend aus Vertreterinnen des Modellprojekts SVplus und der Schulinspektion wurde von der Abteilung III des HKM beauftragt, eine Konzeption zur Zusammenführung von Schulinspektion und Metaevaluation nach Q2E im Rahmen des Transferprozesses Selbständige Berufliche Schule (SBS) zu erarbeiten. Die Konzeption QEE-Hessen wurde von September 2010 bis April 2011 erstellt und bietet den SBS (35 Schulen aus dem Modellprojekt SVplus und dem SBS-Transferprozess) eine Alternative zur Schulinspektion (Breitbandevaluation).
15 der 17 beruflichen Schulen im Modellprojekt Selbstverantwortung plus(SVplus), die ein Qualitätsmanagementsystem nach dem Q2E-Modell (Qualität durch Evaluation und Entwicklung) etabliert haben, durchliefen von Herbst 2010 bis Herbst 2011 die Metaevaluation nach Q2E. Eine weitere externe Evaluation für hessische Schulen ist die Schulinspektion, für die das Institut für Qualitätsentwicklung (IQ) zuständig ist. Ein Großteil der Projektschulen ist mit einem angemessenen Zeitabstand auch durch dieses verbindliche Verfahren gegangen .Beide externen Evaluationen sollten für die SBS in einem Verfahren zusammengeführt werden, um im Hinblick auf die Entwicklungsförderung den Nutzen zu erhöhen und den Aufwand für die Schulen bei der externen Evaluation so gering wie möglich zu halten.
Die SBS haben die Verpflichtung, ein zertifizierbares Qualitätsmanagementsystem einzuführen, das laut Amtsblatt 8/2010 bis Juli 2015 extern evaluiert werden soll.
Für die Metaevaluationen nach Q2E werden im Rahmen des Modellprojekts SVplus derzeit Evaluatoren durch das Zentrum Bildungsorganisation und Schulqualität der Pädagogischen Hochschule Fachhochschule Nordwestschweiz (FHNW) qualifiziert. Sie sollen nach Abschluss der Maßnahme dort persönlich akkreditiert werden.
Die Arbeit der Konzeptgruppe hatte das Ziel, ein Konzept zur Weiterentwicklung der externen Evaluation für die SBS durch die Zusammenführung der Metaevaluation nach Q2E und der Schulinspektion zu erstellen. Dabei muss das adaptierte Konzept der externen Evaluation auch die Möglichkeit zur Zertifizierbarkeit bieten.
Folgende Rahmenbedingungen sollten im Konzept berücksichtigt werden:
- Für die Schulen soll es sich zukünftig um ein Evaluationsereignis handeln.
- Kernelemente aus der Schulinspektion und aus der Metaevaluation nach Q2E sollen erhalten bleiben.
- In der Übergangsphase können die Schulen im Modellprojekt SVplus, die bislang noch keine Schulinspektion hatten, selbst entscheiden, ob sie noch zwei Verfahren der externen Evaluation durchlaufen oder bereits nach dem zusammengeführten Verfahren evaluiert werden.
Das Konzept stellt die Grundlage für die Durchführung des neuen Evaluationsverfahrens für selbstständige Schulen, die ein Qualitätsmanagementsystem nach dem Q2E-Modell eingeführt haben, dar. Die Erprobung erfolgte im November 2011an der Schule in Offenbach. Nach der Auswertung der Erfahrungen an dieser Pilotschule wird das Konzept überarbeitet und anschließend in den Regelbetrieb überführt.
SBS und später auch die Selbstständigen Allgemeinbildenden Schulen (SES) erhalten eine externe Evaluation durch das Institut für Qualitätsentwicklung. Sie umfasst einerseits zertifizierungsfähige Elemente von Q2E zur Metaevaluation des Qualitätsmanagementsystems der Schulen und andererseits Verfahrensteile der hessischen Schulinspektion zur Primärevaluation des Qualitätsbereichs VI Lehren und Lernendes Hessischen Referenzrahmens Schulqualität (HRS).
Grundsätzliche Voraussetzung für das Evaluationskonzept war, dass methodische Standards beider Verfahren gewahrt blieben und eine inhaltliche Ausrichtung der Evaluation realisiert wurde, die für die Metaevaluation die Bedingungen der Zertifizierung erfüllte und zudem um eine einheitliche Primärevaluation ergänzt wurde.
Der HRS ist in Hessen als landesweit einheitliche Bezugsgröße für die Bestimmung von Schulqualität eingeführt und Schulentwicklungsbemühungen von Schulen richten sich verbindlich an dieser Grundlage aus. Um auch die Metaevaluation eines schulischen Qualitätsmanagementsystems in dieses implementierte Ordnungssystem einzubinden, wurden die Kriterien für die externe Evaluation von Q2E in die Struktur des HRS überführt.
Die Evaluationsmaßnahme QEE an Selbstständigen Beruflichen Schulen kombiniert eine Metaevaluation des Qualitätsmanagementsystems der Schule nach dem Q2E-Modell mit einer Primärevaluation des Qualitätsbereichs Lehren und Lernen aus dem HRS.
Das Evaluationskonzept orientiert sich inhaltlich an den für Q2E definierten Kriterien des Bewertungsrasters, aufgrund derer die „Zertifizierungsreife“ des Qualitätsmanagementsystems von Schulen im Rahmen der Metaevaluation bewertet wird. Es handelt sich um das Bewertungsraster von Q2E (LANDWEHR/ STEINER, 2003), wie es im Rahmen der Evaluationen im Modellprojekt SVplus in Hessen eingesetzt wurde und auf dessen Grundlage die Ausbildung der hessischen Evaluatoren erfolgte. Im Interesse der Verfahrenslogik und aufgrund der Verbindlichkeit des Hessischen Referenzrahmens wurden die Inhalte des Bewertungsrasters in den HRS eingebunden und der Konstruktionslogik der priorisierten Kriterien und Kerninformationen aus dem HRS, die die Schulinspektion verwendet, angepasst (v. a. Eindimensionalität, Vermeidung von Redundanzen durch trennscharfe Formulierung,Integration in die bestehende Systematik des HRS). Darüber hinaus wurden auf das Evaluationsverfahren die statistischen Standards des Inspektionsverfahrens übertragen.
Ergänzt wird die Metaevaluation des schulischen QMS nach Q2Edurch eine Primärevaluation im Bereich des Lehrens und Lernens (Qualitätsbereich VI des HRS), der eine Evaluation der Kriterien in diesem Bereich analog zum Verfahren der Schulinspektion umfasst.
Diese Evaluation bildet die zweite Säule des kombinierten Evaluationsverfahrens und bedient sich der inhaltlichen Auswahl und der konzeptionellen Festlegung im Rahmen der Schulinspektion.
Zu Beginn des Entwicklungsprozesses definierten die Vertreter des Modellprojektes und der Schulinspektion jeweils die Kernelemente der beiden Verfahren, die erhalten und in einem neuen Verfahren kombiniert werden sollten. Auf diese Weise sollte gewährleistet werden, dass die zentralen Funktionen beider Verfahrenerhalten bleiben.
Für die Q2E-Metaevaluation ist dies die Entwicklungsorientierung und die Zertifizierbarkeit; für die Schulinspektion eine externe Evaluation zur Untersuchung der Schul- und Unterrichtsqualität auf der Grundlage des HRS und entsprechend den methodischen Standards der Schulinspektion. Die Sinnhaftigkeit einer Primärevaluation zum Qualitätsbereich „Lehren und Lernen“, wurde von beiden Seiten gesehen und zu Beginn des Entwicklungsprozesses vereinbart (Ausschlaggebend hierfür waren die Erfahrungen aus den Metaevaluationen im Modellprojekt SVplus, in deren Rahmen ein Fokusthema aus dem Bereich Unterrichtsentwicklung evaluiert wurde. Die gewählte Kombination entspricht zudem dem Metaevaluationsverfahren von operativ eigenständigen schulen (OES) in Baden-Württemberg.. Eine Untersuchung dieses Qualitätsbereichs dient der Feststellung der Prozessqualität in diesem schulischen Kernbereich auf einer validen Datenbasis. Durch diese externe Rückmeldung lassen sich Qualitätsdefizite feststellen und Qualitätsverbesserungsmaßnahmen planen, in die auch die Schulaufsicht einbezogen werden kann. Zudem unterstützt die Kombination von Meta- und Primärevaluation den Anspruch von Q2E „Schule und Unterricht ins Zentrum der Qualitätsbemühungen zu stellen,“ und so „die Spannung zwischen Orientierung auf Rechenschaftslegung und interner Schulentwicklung“ aufzuheben (LANDWEHR/ STEINER 2003a, 57)
Für das neue Verfahren galt ferner die Prämisse der Kostenneutralität, d. h. das neue Verfahren darf die Kosten einer Schulinspektion nicht übersteigen, um vom IQ den Schulen als alternatives Verfahren zur Schulinspektion angeboten werden zu können.
Abb1: Externe Evaluation Selbstständiger Schulen (SBS)
Im Anschluss an die Pilotierung des Evaluationsverfahrens verantwortet das Institut für Qualitätsentwicklung, Abteilung I: Externe Evaluation – Schulinspektion, die Durchführung der Evaluation an Selbstständigen Beruflichen Schulen sowie etwaige notwendige Veränderungen des Verfahrens.
Nach einer Qualifizierung für das kombinierte Evaluationsverfahren können die Inspektionsteams durch Schulinspektorinnen und Schulinspektoren besetzt werden. Die IT-Infrastruktur und die durch das Organisationsbüro gewährleistete Organisationsstruktur sind in der Schulinspektion aufgebaut und stellen eine verlässliche Vorbereitung, Durchführung und Nachbereitung der Evaluationsmaßnahme sicher.
Die Ressourcen für die eine kombinierte Evaluationsmaßnahme im hier beschriebenen Sinne entsprechen denen für eine Schulinspektion an einer vergleichbaren Schule, so dass im Vergleich zur Schulinspektion an Beruflichen Systemen keine zusätzlichen Kosten entstehen.
Es folgt eine kurze Beschreibung der Schule und des Gesamtablaufes der Pilotevaluation. Einzelne Verfahrensschritte, die Detailplanung für die Durchführung des Evaluationsbesuches vor Ort sowie die eingesetzten Instrumente werden anschließend vorgestellt.
Bei der Schule handelt es sich um eine Kreisberufsschule, die sich in fünf Abteilungen gliedert. Die folgenden Tabellen geben einen Überblick über die Anzahl der Lehrkräfte sowie der Schülerinnen und Schüler an dieser Schule:
Tabelle 1: Größe der Schule – Anzahl der Lehrkräfte
Lehrkräfte in Vollzeit | 70 |
Lehrkräfte in Teilzeit: | 30 |
|
|
Tabelle 2: Größe der Schule – Anzahl der Schülerinnen und Schüler
Gesamtanzahl der Schülerinnen und Schüler in Bildungsgängen zur Berufsvorbereitung: | 146 |
Gesamtanzahl Berufsschülerinnen und -schüler in dualen Ausbildungsberufen: | 1020 |
Gesamtanzahl Schülerinnen und Schüler der zweijährigen Höheren Berufsfachschule: | 112 |
Gesamtanzahl Schülerinnen und Schüler der Fachoberschule und Berufliches Gymnasium: | 440 |
Gesamtanzahl Schülerinnen und Schüler der Fachschule: | 60 |
|
|
Der Verfahrensablauf gliederte sich (analog zur Q2E-Metaevaluation und Schulinspektion) in drei Phasen: Eine Vorbereitungsphase von ca. neun Wochen, in der das Evaluationsteam und die Schule Informationen austauschten, die Onlinebefragung durchgeführt und Dokumente analysiert wurden, den viertägigen Schulbesuch vor Ort, während dem Unterrichtsbeobachtungen, weitere Dokumentenanalysen sowie Ratingkonferenzen* und Interviews mit den schulischen Gruppen geführt wurden (siehe Ablaufplan im Anhang). Es schließt sich eine Nachbereitungsphase von ca. 12 Wochen an, in der der Evaluationsbericht geschrieben und zentrale Ergebnisse im Rahmen der Vorstellung des Berichts an der Schule präsentiert werden.
Zur Durchführung der Evaluation wurde die IT-Struktur der Schulinspektion genutzt, die eine direkte Einbindung der Schulen in sichere und weitgehend papierlose Kommunikationsprozesse entsprechend der Datenschutzrichtlinien des Landes Hessen ermöglichte und eine unmittelbare zentrale Datenerfassung für die erforderlichen Auswertungsprozesse der Daten sicherstellte (Teamraum auf der Extranet-Plattform der Hessischen Landesverwaltung).
Die Schulleitung erhielt Zugang zum Schulleitungsportal, in dem vorbereitende Angaben zur Durchführung der Evaluationsmaßnahme vorzunehmen waren und über das die Selbstdeklaration (Onlineformular) für die Schulleitung erreichbar war.
Die Evaluation wurde innerhalb von vier Tagen im November 2011 durchgeführt.
Abb. 2: Ablauf der Evaluationsmaßnahme
Die Berichterstattung erfolgte durch einen schriftlichen Bericht (Januar 2012) und mündliche Rückmeldung an Schulleitung, QM-Team und Kollegium (Februar 2012).
Der Evaluationsbericht gibt der Schule eine detaillierte Rückmeldung zu ihrem Qualitätsprofil bezogen auf die evaluierten Kriterien des HRS. Er untergliedert sich in Rückmeldungen zur Meta- und zur Primärevaluation und weist folgende Gliederung auf:
Tabelle 3: Gliederung des Evaluationsberichts
Die mündliche Vorstellung der wesentlichen Evaluationsergebnisse erfolgte in zwei getrennten Veranstaltungen: Einem Gespräch mit der erweiterten Schulleitung, der bzw. dem Qualitätsbeauftragten und dem Q-Team sowie dem Personalrat der Schule. Dem Kollegium der Schule wurden Ergebnisse im Rahmen einer Präsentation vorgestellt. Beide Veranstaltungen finden an einem Tag statt; die Präsentation für das Kollegium erfolgte am Nachmittag.
Im Rahmen des kombinierten Metaevaluations- und Schulinspektionsverfahrens (QEE) wurde ein Instrumente- und Verfahrenskanon eingesetzt, der sowohl für begründete Urteile über das schulische Qualitätsmanagement einerseits als auch über die Qualität des Unterrichts andererseits Informationen zur Verfügung stellt.
Entsprechend wurden die folgenden Instrumente und Verfahren genutzt:
- Dokumentenanalyse,
- Onlinebefragung der Lehrkräfte und der Schülerinnen und Schüler,
- Selbstdeklaration der Schulleitung (online),
- teilstrukturierte leitfadengestützte Interviews,
- Ratingkonferenzen*,
- Unterrichtsbeobachtungen.
Die Durchführung „klassischer“ Ratingkonferenzen nach Q2E (vgl. LANDWEGR/ STEINER/ KELLER 2003, 62-64) wurde im Rahmen der Pilotevaluation abgewandelt und in Zusammenhang mit dem Instrument der Onlinebefragung gebracht. Wir haben den Begriff Ratingkonferenzen in diesem Text mit einem Stern versehen, um dies kenntlich zu machen. Dazu wurden bei der Onlinebefragung die folgenden fünf Cluster gebildet, die auch für die Auswertung der Unterrichtsbeobachtungen verwendet werden:
Cluster 1: EIBE, BFS, BVB
Cluster 2: Berufsschule
Cluster 3: Höhere Berufsfachschule
Cluster 4: Fachoberschule, Berufliches Gymnasium
Cluster 5: Fachschule
Mit Schülerinnen und Schülern aus jedem Cluster wurde eine Ratingkonferenz* durchgeführt, in der die Ergebnisse der Onlinebefragung des jeweiligen Clusters thematisiert wurden. Dies ermöglicht eine relative Homogenität und die Rückmeldung in der Struktur des schulischen Bildungsangebotes. Eine Zertifizierung von Teilbereichen der Schule wird verfahrenstechnisch so u. U. unterstützt
Die Reflexion des Verfahrens erfolgte auf drei Ebenen:
a) Der Ebene der Grundlagen der beiden kombinierten Verfahren externer Evaluation nach Q2E und hessischer Schulinspektion.
b) Auf der alltagstheoretischen Ebene zum Gesamtverfahren.
c) Auf wissenschaftstheoretischer Ebene für den Bereich der Triangulation.
Die Merkmale der externen Schulevaluation nach Q2E sind 1.) die Verbindung von Entwicklungsorientierung und Rechenschaftslegung, 2.) die Verbindung von Metaevaluation und Primärevaluation, 3.) die Verbindung von Profilfeedback und kriterienorientierter Beurteilung sowie 4.) die Funktion der Metaevaluation als Teil des Q2E-Zertifizierungsverfahrens. Letzteres ist im Verfahren angelegt, auch für Teilbereiche der Schule, daher wurde die Clusterbildung eingeführt. Eine mögliche Zertifizierung von Teilbereichen der Schule (Scopeverfahren) soll damit unterstützt werden. Die Frage der Zertifizierung soll im Rahmen dieser Arbeit nicht weiter erörtert werden, da derzeit mehrere Regelwerke neben dem Q2E-Zertifikat für die Schulen infrage kommen. Die Funktion der QEE-Metaevaluation für diese Regelwerke ist mit den Zertifizierungsagenturen noch nicht in allen Einzelheiten geklärt; derzeit laufen Vorgespräche mit der DQS.
Die Verbindung von Entwicklungsorientierung und Rechenschaftslegung (1) - vgl. hierzu auch die Ausführungen unter 3.4 - wird durch das QEE-Verfahren gewahrt. Die Ergebnisse der Meta- wie auch der Primärevaluation dienen auch dazu, dass die selbstständigen Schulen, die ja einen erweiterten Autonomierahmen besitzen, gegenüber den schulaufsichtsführenden Institutionen datenbasiert Rechenschaft über den erreichten Stand der Qualitätsentwicklung ablegen können. Dies insbesondere, falls die QEE-Berichte zukünftig wie die Berichte der Schulinspektion von der Schulaufsicht als Steuerungsinstrumente genutzt werden sollten. Dann werden auch die Ergebnisse der Metaevaluation zum Kerngeschäft Unterricht in Bezug gesetzt und Maßnahmen zur Qualitätsentwicklung und -sicherung dort – so ist anzunehmen – in den Zielvereinbarungsgesprächen thematisiert werden.
Die zweite o.g. Grundlage der Verbindung von Metaevaluation und Primärevaluation (2) ist im Verfahren durch die Kombination von Metaevaluation - im Wesentlichen nach Q2E - mit einer Primärevaluation im Qualitätsbereich Lehren und Lernen angelegt. Dabei ist die Verfahrenstreue zu Q2E sehr hoch und sind die Bezüge zu den Q2E-Grundlagen weitgehend vorhanden. Die Primärevaluation erfolgt in gleicher Art und Weise, wie dies im Rahmen der Schulinspektion (Breitbandevaluation) an allen anderen Schulen in Hessen erfolgt, was den Vergleich der Ergebnisse zu denen anderer Schulen ermöglicht.
Das Zwei-Schienen-Modell mit der Verbindung von Profilfeedback und kriterienorientierter Beurteilung (3) ist weiterhin erhalten. Es entspricht nicht nur Q2E, sondern auch dem Verfahren der Schulinspektion (vgl. hierzu auch Kapitel 3.2) und kann an dem QEE-Bericht verdeutlicht werden:
Die Kernaussagen zum QM werden dort in Kapitel 4 differenziert zu den Bereichen Steuerung, Individualfeedback und Selbstevaluation formuliert und beschreiben das Profil des QM. Die Handlungsempfehlungen werden anschließend nach den Bereichen Steuerung, Individualfeedback und Selbstevaluation gegeben (Kapitel 5). In dem sich daran anschließenden Kapitel 6 erfolgt die kriterienorientierte Beurteilung des QM. Sie besteht zum einen aus der quantitativen Bewertung des Kriteriums und der Bewertung der zum Kriterium gehörenden Kerninformationen in tabellarischer Form, die der Selbsteinschätzung der Schule gegenübergestellt werden, und zum anderen aus der schulspezifischen Erläuterung der Bewertungen in beschreibender Form als Text. Schulspezifische Erläuterungen dienen dabei dem Ziel, der Einzelschule in individueller Weise zu verdeutlichen, an welchen Befunden eine Bewertung festgemacht worden ist.
Zusammenfassend lässt sich sagen, dass der Teil des Q2E-Berichts, in dem die Kernaussagen dargestellt und erläutert werden, nun geringer ausfällt und stattdessen die schulspezifischen Erläuterungen in direkten Bezug zu den Kriterien gebracht sind. Die enge Verknüpfung von Kriterien und Erläuterung soll die Nachvollziehbarkeit der Ergebnisse und ein Ableiten von konkreten Maßnahmen unterstützen und kann u. U. komplementär zu den Handlungsempfehlungen wirken.
Im Rahmen der Arbeit in der Konzeptgruppe definierten die VertreterInnen der Schulinspektion und des Modellprojekts in einem der ersten Arbeitsschritte jene Kernelemente, die ihrer Ansicht nach von den jeweiligen Verfahren externer Evaluation erhalten bleiben sollten bzw. müssten. Aus der Gegenüberstellung dieser Elemente wurde ersichtlich, dass die Verfahren kombinierbar sind.
Für die Metaevaluation wurden die folgenden Elemente als wichtig erachtet und in das Verfahren QEE implementiert:
• QM-Handbuch und Selbsteinschätzung
• Persönliches Vorgespräch mit der Schule vor Ort
• Durchführung von Ratingkonferenzen* und leitfadengestützten Interviews
• Formulierung von Handlungsempfehlungen
• Einsatz von Peers
• Ein zweiteiliges mündliches Rückmeldeverfahren an der Schule
• Zertifizierungsmöglichkeit auf der Basis des Evaluationsberichts
Der Einsatz von Peers wurde im Pilotierungsverfahren im Ansatz angewandt, wird aber im Regelbetrieb wohl nicht weiter verfolgt werden. Alle anderen Elemente sind im neuen QEE-Verfahren vorhanden. Neben der inhaltlichen Orientierung an Q2E im Bereich der Metaevaluation (s. o.) ist auf diese Weise auch für die Übernahme wesentlicher Verfahrensbestandteile der externen Q2E-Evaluation gesorgt.
Abweichungen im QEE-Verfahren zu einer Q2E-Metaevaluation beziehen sich im Wesentlichen auf eine zusätzliche Onlinebefragung, die Zuordnung von Q2E-Kriterien in die Struktur des HRS, eine schulformbezogene Befragung von Schülerinnen und Schülern und dem Verzicht auf zwei Ratingkonferenzen* mit Lehrkräften und einer mit Schülerinnen und Schülern. Letzteres wurde aufgrund der hohen Beteiligung an der Online-Befragung möglich, wodurch die Repräsentativität der Teilnahme an der Metaevaluation hergestellt werden konnte. Die Rückmeldung erfolgt analog zu Q2E in zwei mündlichen Teilen und einem schriftlichen Bericht, dessen Format sich wie oben beschrieben verändert hat.
Ausgangspunkt und Arbeitsgrundlage für Evaluation mit dem Verfahren QEE-Hessen ist die Überführung der Bewertungstabellen von Q2E in den Hessischen Referenzrahmen Schulqualität (HRS) unter Wahrung der inhaltlichen Systematik des HRS und der zentralen Konstruktionsbedingungen für die Kriterien und Kerninformationen (s. o.).
Durch diese Einbindung von Inhalten aus Q2E in das Rahmenkonzept des Hessischen Referenzrahmen, steht für die Schulen in Hessen ein einheitlicher Orientierungsrahmen zur Verfügung, der als zentrales Instrument der Schulentwicklung implementiert ist und der von den Schulen genutzt wird. Die Aufnahme der Q2E-Kriterien und ihre systematische Zusammenstellung als Liste der für QEE priorisierten Kriterien und Kerninformationen (siehe Anhang) gibt den Schulen eine verbindliche Orientierung für ihre Qualitätsentwicklung und informiert über die Standards der externen Evaluation. Sie ermöglicht den Schulen, Q2E als schulische Strategie zur Qualitätsentwicklung zu nutzen und nach darauf abgestimmten Kriterien von der Schulinspektion extern evaluiert zu werden. Auf dieser Grundlage werden Schulentwicklung, interne Evaluation sowie externe Evaluation besser in einem verbindlichen Orientierungsrahmen miteinander verzahnt. Denn: Allen Maßnahmen der schulischen Qualitätsentwicklung und Qualitätssicherung dient der HRS als Algorithmus, der einheitliche Kriterien vorgibt, auf dessen Basis entwickelt, evaluiert, legitimiert und gesteuert werden kann.
Darüber hinaus stellt die Ermittlung von Ausprägungsgraden der Kriterien und Kerninformationen des HRS das zentrale Prinzip der Hessischen Schulinspektion dar. Neben dem Verfahren ist auch die Informationsverarbeitung während der Evaluationen auf eine kriterienorientierte Vorgehensweise ausgerichtet. Durch die Einbindung der Q2E-Kriterien in den HRS kann die Datenauswertungssoftware der Inspektion, die zukünftig institutionell für sämtliche externen Evaluationen im hessischen Schulsystem verantwortlich ist, genutzt werden. Sie führt die erhobenen Daten mit den betreffenden Kriterien zusammen, wodurch eine kriterienfokussierte Protokollierung und eine Vollständigkeit der Datenerfassung unterstützt werden. Beides erleichtert die Einschätzung der Ergebnisse und das Verfassen des Gesamtberichts.
Q2E, QEE und Schulinspektion verfolgen ein „Zwei-Schienen-Modell der Evaluation“: zum einen ein ganzheitliches Vorgehen mit einer eher hermeneutischen Herangehensweise, zum anderen eine operationalisierte Erfassung des Stärken-Schwächen-Profils der Schule. Unterschiede zeigen sich zwischen den Evaluationskonzepten darin, welchen Stellenwert beide Teile einnehmen.
In der Schulinspektion dominiert deutlich die kriterienorientierte Herangehensweise; QEE hingegen verbindet beide Vorgehensweisen stärker, folgt aber nicht vollständig dem Q2E-Modell. Während die ganzheitliche, hermeneutische Ausrichtung in den bislang in Hessen praktizierten Q2E-Metaevaluationen deutlich dominierte, hat QEE zum Ziel, für die Einschätzung der drei Dimensionen, die im Q2E-Modell als Eckpfeiler des Qualitätsmanagements festgelegt worden sind, deutlicher die klar definierten Kriterien heranzuziehen, die in den HRS aufgenommen wurden. Damit geht im Hinblick auf die Art und Weise, wie Kriterien erfasst und bewertet werden, eine engere Anlehnung an die methodische Systematik der Schulinspektion einher, die eher auf die operationalisierte Erfassung von Ausprägungsgraden setzt, als auf ganzheitliche und hermeneutische Betrachtung der Schule. Im Gegenzug wurde im Verfahren der zweiten Schulinspektion ein Verfahrensbestandteil eingeführt, für den eine deutliche Annäherung an die methodischen Prinzipien von Q2E kennzeichnend ist. Die Evaluation eines schulischen Profilschwerpunktes, der von den Schulen frei gewählt werden kann, erfolgt nach den Aspekten Praxisgestaltung, Wirkung und Wirksamkeit und Institutionelle Einbindung, hat aber keinen vergleichbaren zentralen Stellenwert wie in QEE.
Im Evaluationsbericht nach QEE werden differenzierte, hermeneutische Einschätzungen zur Steuerung der Qualitätsprozesse, zum Individualfeedback und der persönlichen Qualitätsentwicklung sowie zur Praxis der Selbstevaluation gegeben, die aber durch eine kriteriengeleitete Einschätzung des QMS ergänzt werden (siehe oben Gliederung des Berichts).
Evaluationsberichte stellen sowohl einen Impuls zur Schulentwicklung als auch ein Element der Rechenschaftslegung über die geleistete Arbeit dar. Primäres Ziel von QEE wie der Schulinspektion ist es, durch eine methodisch fundierte Rückmeldung zur Schulqualität einen Beitrag zur Schulentwicklungsarbeit der Einzelschule und ihrer zielgerichteten Qualitätsentwicklung zu leisten. Durch eine turnusmäßige datengestützte externe Evaluation
der innerschulischen Unterrichtsprozesse sowie des Qualitätsmanagements, die in Form von Ergebnisberichten systematisch zurückgemeldet wird, erhalten die selbstständigen Schulen Impulse für die weitere Arbeit.
Während den Einzelschulen im Rahmen der Schulinspektion ein differenziertes schulisches Qualitätsprofil mit zentralen Ergebnissen zu Stärken und Schwächen (mit Bezug zur ersten Schulinspektion) zurückgemeldet wird, verzichtet QEE auf dieses Element. An seine Stelle treten Handlungsempfehlungen zur Weiterentwicklung des Qualitätsmanagements, um die Schulentwicklung direkt voranzutreiben. Notwendig für deren Formulierung ist das Wissen über schulspezifische Ursache-Wirkungs-Zusammenhänge, um darauf bezogen intervenieren zu können. Das setzt ein umfangreiches, komplexes systemisches Wissen über die schulische Arbeit und die Beanspruchung einer Deutungshoheit für schulische Abläufe voraus. Aus Sicht der Schulinspektion ist die differenzierte quantitative Rückmeldung der Einschätzungen entlang der priorisierten Kriterien und Kerninformationen und deren verbale (qualitative) Erläuterung eine wichtige Ergänzung und ggf. eine Korrektiv zu den Empfehlungen. Sie ermöglichen es der Schule ausgehend von den Befunden des Evaluationsteams, selbstständig Schwerpunkte der Entwicklungsarbeit festzulegen und Interventionsstrategien zu entwickeln. Dies gilt insbesondere für die Primärevaluation des Bereichs Lehren und Lernen. Gerade dort ist es den Schulen möglich, individuelle Strategien zur Weiterentwicklung zu entwickeln, ohne sich konkrete Unterrichtskonzepte von außen empfehlen zu lassen. Im Konzept von QEE sind damit – wie auch in der Schulinspektion – Rechenschaftslegung und Schulentwicklung eng miteinander verzahnt.
Mit dem Evaluationsbericht erhalten die Schulen neben den Impulsen zur Schulentwicklung auch eine Rückmeldung zur erreichten Qualität, die nach innen und außen im Sinne einer Rechenschaftslegung genutzt werden kann. Aufgrund der kriteriengeleiteten, quantitativen Einschätzungen im QEE-Bericht ist es für die Schulen leicht, gegenüber den Mitgliedern der Schulgemeinde aber auch gegenüber der Schulaufsicht und einer Zertifizierungsstelle den aktuellen Entwicklungsstand zu kommunizieren. Während im Verfahren der Schulinspektion die Schulaufsicht die Ergebnisse der Evaluation erhält, damit sie in einem Zielvereinbarungsprozess gemeinsam mit der Schule weitere Maßnahmen zur Schul-entwicklung festlegt, ist dies im Verfahren von QEE bislang nicht verbindlich geregelt. Insofern dominiert – zumindest in der Pilotierung – deutlich die Schulentwicklungsfunktion.
Vor dem Hintergrund erweiterter inhaltlicher und monetärer Freiheiten an Schulen, ist jedoch, so ist es im Erlass für Selbstständige Berufliche Schulen geregelt, auch eine Rechenschaftslegung von Schulen einzufordern, die gegenüber der schulaufsichtlichen Dienststelle zu erfolgen hat.
Im Mittelpunkt des Prozessmodells, das dem HRS zu Grunde liegt, steht der Unterricht. Er ist das „Kerngeschäft“ von Schule. Andere Bereiche der schulischen Arbeit dienen – etwas vereinfacht gesagt – der Unterstützung oder Ermöglichung eines guten Unterrichts. Aufgrund der Primärevaluation des Qualitätsbereichs VI Lehren und Lernen lassen sich zum einen die Befunde zum Qualitätsmanagement an die ermittelte Unterrichtsqualität rückbinden. Zum anderen werden auf diese Weise Daten gewonnen, die unabhängig von denen zum Qualitätsmanagement signifikante Aussagen über die Qualität der Schule zulassen. Darüber hinaus lassen sich diese Daten zum Unterricht in Beziehung setzen zu den Unterrichtsdaten vergleichbarer Schulformen. Damit wird in QEE – ebenso wie in der Schulinspektion – die Unterrichtsqualität als zentrales Datum erhoben und den Schulen zurückgemeldet. Der Umfang des Evaluationsgegenstandes führt damit näher an die schulische Realität.
Im Verfahren von QEE wurde mit den Ratingkonferenzen* eine methodische Variation pilotiert. Alle Lehrkräfte und alle Schülerinnen und Schüler hatten die Möglichkeit, an einer Onlinebefragung teilzunehmen, die die Möglichkeit zu einer persönlichen Einschätzung evaluationsrelevanter Aspekte der Qualität (bezogen auf das QMS und bezogen auf den Unterricht) bietet. Die Ergebnisse der Befragung standen dem Evaluationsteam vor dem Schulbesuch als Datengrundlage zur Verfügung. Anstelle der originären Ratingkonferenzen*, die im Rahmen von Q2E durchgeführt werden, wurden die Befragungsergebnisse für die verschiedenen Schüler- und Lehrergruppen voranalysiert und markante Ergebnisse ausgewählt. Diese wurden in den Ratingkonferenzen* den Schülerinnen und Schülern bzw. Lehrkräften über eine tabellarische Präsentation der gruppenspezifischen Ergebnisse rückgemeldet und zum Anlass einer Diskussion verwendet. Die Einbindung der gesamten Schulgemeinde in die Einschätzung der schulischen Qualität erhöht die Belastbarkeit der Ergebnisse und deren Repräsentativität in einer Weise, wie es durch Ratingkonferenzen* mit jeweils wenigen Vertretern aus den verschiedenen Gruppen – vor allem bei den Schülerinnen und Schülern bzw. Studierenden – nicht möglich ist und sorgt darüber hinaus für größere Akzeptanz der Befunde. Ein deutliches Plus bietet weiterhin das differenziertere Fragenspektrum der Onlinebefragung zu den formulierten Kriterien und Kerninformationen (Lehrkräfte: 81 Fragen, Schülerinnen und Schüler: 55 Fragen) gegenüber dem eher schmalen Fragenset in den Ratingkonferenzen* (Lehrkräfte ca. 22 Fragen, Schülerinnen und Schüler ca. 17 Fragen).
In einem frühen Stadium der Vorbereitung der Evaluationsmaßnahme an der Schule zeigte sich, dass in der Pilotevaluation eine einheitliche Teamleitung nicht möglich war, wie dies sonst in den beiden Verfahren Metaevaluation und Schulinspektion gängige Praxis ist. So mussten vonseiten der Schule drei Personen und im Evaluationsteam zwei Personen als Ansprechpartner benannt werden. Die Arbeitsteilung stellte sich wie folgt dar:
· Ein Evaluator in der Position des Teamleiters für alle organisatorischen Belange zur Durchführung der Meta-Evaluation.
· Ein Schulinspektor für die Planung der Unterrichtsbesuche für die Primärevaluation im Qualitätsbereich Lehren und Lernen.
· Eine Mitarbeiterin des Organisationsbüro der Schulinspektion für alle technischen Fragen der Schule betreffend der Austauschplattform und dem Schulleitungsportal der Schulinspektion.
· Der Schulleiter für die Selbsteinschätzung und das Einpflegen der Schuldaten, da er den Zugang zu der Austauschplattform erhält, der ausschließlich über seine offizielle E-Mail-Landesadresse gewährt wird.
· Der stellvertretende Schulleiter für die Überlassung der Stundenpläne und Planung der Unterrichtsbesuche in Offenbach und in der Außenstelle der Schule
· Die Bildungs- und Verwaltungskoordinatorin der Schule für die Ausarbeitung der Detailplanung und die organisatorische Umsetzung der Metaevaluation sowie der Bereitstellung von Dokumenten.
Verglichen mit einer Q2E-Metaevaluation – üblicherweise kombiniert mit einer Primärevaluation – , in der es einen Ansprechpartner der Schule und einen im Evaluationsteam gibt, zeigt sich in der Pilotevaluation in der Anzahl der Ansprechpartner für konkret umrissene Arbeitspakete die Komplexität des Verfahrens und der beteiligten Systeme. Das diese wohl umrissen und definiert waren, zeigt die Durchführung der Evaluationsmaßnahme vor Ort: Sie erfolgte gleichermaßen problemlos entlang der zuvor mit der Schule entwickelten Planungen für die Metaevaluation und die Unterrichtsbesuche.
Die Durchführung von Interviews und Ratingkonferenzen* verlief in den gewohnten Bahnen termin- und zeitgerecht. Sodass wir auf Grund dessen und auf Grund des Feedbacks der Schule sagen können, dass die Durchführung der Evaluation in der Art so gut gelungen ist, wie sie in den beiden Verfahren Metaevaluation und Schulinspektion erwartet werden würde. Wir folgern daraus, dass beide Verfahren gut durchdacht und gut durchgeführt wurden. Das machen wir auch an der Teilnahme an den Befragungen fest. An den Ratingkonferenzen* und den Interviews nahmen bis auf wenige krankheitsbedingte Fälle alle zuvor genannten Personen teil. An der im Vorfeld der Evaluation durchgeführten Onlinebefragung beteiligten sich:
· 76,9 % der Lehrkräfte
· 71,2 % Schülerinnen und Schüler in Bildungsgängen zur Berufsvorbereitung
· 58,6 % der Berufsschülerinnen und Berufsschüler in dualen Ausbildungsberufen
· 76,8 % der Schülerinnen und Schüler in der zweijährigen Höheren Berufsfachschule
· 76,6 % der Schülerinnen und Schüler in der Fachoberschule und des Beruflichen Gymnasiums
· 85 % der Studierenden der Fachschule
Die Anzahl der durchgeführten Unterrichtsbesuche (78) bildet statistisch gesehen für die Einschätzung der Qualität im Bereich Lehren und Lernen eine gute, statistisch valide Datenbasis.
Dass die Verfahren eine hohe Reife und Güte aufweisen, die für entsprechende Ergebnisse sorgen, erscheint plausibel, nachdem was wir von ihnen wissen. Die alltagstheoretische Vermutung, dass viele Ansprechpartner eine Verwirrung im Verfahren produzieren (Viele Köche …) hat sich jedoch nicht bestätigt. Dies ist sicherlich auch der Professionalität und dem Engagement der handelnden Personen geschuldet. Gleichwohl haben sich die Synergien, die durch diese Arbeitsteilung, in der jeder macht, was er am besten kann, hinsichtlich des Ergebnisses eingestellt und als sinnvoll erwiesen. Im Rahmen des Gesamtverlaufes haben sich jedoch Friktionen ergeben, über die wir reflektieren wollen:
Teamarbeit im engeren Sinne fand eingeschränkt statt; wechselseitige Unterstützung war aufgrund unterschiedlicher Qualifikationen und Kompetenzen nur begrenzt möglich.
Beide Teamhälften befolgten ihre Handlungslogiken um die in den Teilbereichen Metaevaluation und Primärevaluation notwendigen Ziele zu erreichen. Dies führte zeitweise zu einer Entkoppelung im Team: Als problematisch erwies sich im Prozess ein Zusammenführen der einzelnen Ergebnisse und Eindrücke (über die Führung einer gemeinsamen Protokolltabelle hinaus) um eine Verschränkung der Perspektiven im Verfahren vor Ort zu erreichen. Dies war in der Planung zu wenig berücksichtigt worden und auf Grund der Qualifikationen der Teammitglieder nur schwer möglich. Vor dem Hintergrund der offiziellen Aufmerksamkeit, die die Pilotmaßnahme genießt, stand das Gelingen der Evaluationsmaßnahme, die Generierung verlässlicher Daten und der Akzeptanz der Verfahrens durch die Schule im Vordergrund der Überlegungen. Auch wenn dies erreicht und im Nachhinein richtig war, stellen wir doch einen Optimierungsbedarf fest, der sich in den Bereichen Verdichtung von Ergebnissen im Team und in der Qualifikation der Teammitglieder manifestiert: Nicht alle waren in der Lage beide Verfahren in gleicher Güte durchzuführen. Es handelt sich um ein gemischtes Team bestehend aus zwei Schulinspektoren und zwei Evaluatoren sowie einer Peer von der Schulinspektion, die jeweils über unterschiedliche Kenntnisse des anderen Evaluationsverfahrens, allerdings nur in einem Fall auch Durchführungskompetenz in beiden Verfahren verfügen. Dies wird in zukünftigen Evaluationen nach QEE anders sein.
Zusammenfassend kommen wir zu der Erkenntnis, dass die arbeitsteilige Vorgehensweise eine Kombination der Verfahren ermöglichte, und diese als solche auch erfolgreich durchgeführt wurde, was seine Ursache in den Verfahren, der Zusammensetzung und der Kompetenz des Teams sowie der professionellen Organisation vonseiten der Schule hat. Eine Integration der beiden Verfahrensteile erfordert jedoch eine weitere Auseinandersetzung mit den Abläufen, um so Synergien für beide Verfahren und einen Mehrwert durch die Verschränkung von Qualitätsarbeit und Qualitätsmerkmalen des Bereichs Lehren und Lernen besser nutzen zu können.
Die eigentliche Ursache dafür, dass es zu wenig Integration mit wechselseitiger Übernahme von Aufgaben kam, liegt aber darin begründet, dass die Ausbildungsstände in Hinblick auf die Grundelemente des neuen Verfahrens (Q2E und Schulinspektion) nicht bei allen Teammitgliedern gleichermaßen so hoch waren, dass alle alles machen konnten. Diese Differenzen in den Kompetenzen in den Teams gilt es durch eine gezielte Weiterbildung bis zur flächendeckenden Einführung des Verfahrens auszugleichen. Dabei geht es nicht darum, alle Unterschiede der Personen und ihrer Perspektiven zu nivellieren, sondern diese Pluralität der Perspektiven als Chance für ein objektiveres Evaluationsergebnis zu nutzen. Ein Zusammenführen der Perspektiven, also deren Triangulation, sollte im Verfahren systematisch angelegt sein. Diesem Aspekt widmen wir uns im nächsten, dem theoriegeleiteten Abschnitt dieser Arbeit.
Externe Evaluationen von Schulen stellen Evaluationen sozialer Systeme dar. Untersucht werden u.a. Rahmenbedingungen der Schule, Einstellungen und Handlungen der Akteure oder Ergebnisse der Schularbeit. Dabei spielt das Prinzip der Triangulation in Evaluationen oft eine größere Rolle, als es sonst in der Forschungspraxis der Fall ist. Dies ist insofern nachvollziehbar, da Ergebnisse aus externen Evaluationen für Auftraggeber und Evaluierte häufiger Konsequenzen haben, was bei Forschungsarbeiten nicht zwangsläufig der Fall sein muss. Damit die Ergebnisse derartiger Schulevaluationen belastbar sind, wird in der Regel nach dem Triangulationsprinzip evaluiert. In einem ersten Schritt legen wir den Begriff der Triangulation in der Sozialforschung und die dort unterschiedenen Formen der Triangulation dar.
Triangulation beinhaltet in der empirischen Sozialforschung „die Einnahme unterschiedlicher Perspektiven auf einen untersuchten Gegenstand oder allgemeiner: bei der Beantwortung von Forschungsfragen.“ (FLICK 2008, 12) Hierdurch sollen belastbar Ergebnisse erzielt werden, die die Basis für sinnvolle oder berechtigte Maßnahmen bieten können.
„Lässt sich ein Ergebnis perspektivisch unabhängig voneinander durch mehrere Erkenntniswege übereinstimmend erzielen, wächst unser Vertrauen in seine Gültigkeit. Dabei unterstellen wir, dass jede einzelne Methode zwar fehlerbehaftet sein mag (Fehlervarianz aufweist), dass die Fehlerquellen der unterschiedlichen Methoden sich aber nicht überlappen, sondern dass sie unabhängig voneinander wirken (unkorrelierte Fehleranteile). Schließlich wächst unser Vertrauen in das Ergebnis in dem Maß, je weniger fehlerbehaftet uns die einzelnen angewandten Methoden erscheinen - aufgrund ihrer vorherigen externen Validierung durch eine erste Methodentriangulation.“ (SPÖHRING 1989, 320)
Im Rahmen der Metaevaluation nach Q2E und der Schulinspektion in Hessen wird nach dem Triangulationsprinzip evaluiert. Beide Verfahren möchten und müssen Vertrauen in ihre Ergebnisse herstellen, damit diese wirken können. Die im Zitat angesprochene Validierung soll im Kontext dieser Arbeit versucht werden, wenngleich dies sicherlich nicht in der notwendigen Tiefe und Breite erfolgen kann, so erhoffen wir uns doch Hinweise auf konzeptionelle Schwachstellen, deren Bearbeitung in einer verlässlicheren Güte der erzielten Ergebnisse resultiert. Davon sollte auch die Güte und Wirksamkeit der aus den besseren Ergebnissen abgeleiteten Empfehlungen steigen. Dies erscheint uns notwendig, denn das neue Verfahren QEE-Hessen ist auf Vertrauen in seine Ergebnisse angewiesen, um Akzeptanz zu erhalten und Wirkung entfalten zu können.
Im Folgenden soll es jedoch nicht um eine ausschließliche Methodentriangulation gehen, vielmehr werden die im Verfahren erkennbaren Veränderungen ermittelt und untersucht, die den Prozess der Triangulation beeinflussen. Dazu sollen zunächst die Formen der Triangulation skizziert werden.
Allgemein werden vier Formen der Triangulation unterschieden, die auf Norman DENZIN (1970) zurückgehen: Datentriangulation, Forschertriangulation, Methodentriangulation und Theorientriangulation.
Die Formen der Triangulation beziehen sich auf die Ursprünge unterschiedlicher Perspektiven, die sich im Forschungs- bzw. Evaluationsvorhaben ergeben. Eine Ursache ist im Einsatz von verschiedenen Methoden, die wiederum auf unterschiedliche theoretische Ansätze Bezug nehmen und über die Methoden die Forschungsrichtung bestimmen. Aus der Anwendung der Methoden resultieren Instrumente zur Datenerhebung (z.B. Fragebögen, Leitfäden, Beobachtungsbögen) die Daten (quantitativer oder qualitativer Art) generieren, die wiederum miteinander trianguliert werden können. Als weitere anerkannte Form der Triangulation gilt seit DENZIN (1970) auch die Investigator Triangulation: Diverse Interviewer oder Beobachteter kommen zum Einsatz und bringen ihre Sichtweisen und Interpretationen ein.
Für den Gesamtprozess der Triangulation ist die Auswertung der Daten und die Feststellung eines relativ objektivierten Ergebnisses das Leitziel. Dabei ist die Stellung der Perspektiven und deren zum Tragen Kommen ein wesentlicher Punkt, der in einem Evaluationsverfahren in einer Gewichtung resultieren sollte, die dem Auftrag und dem Ziel der Evaluation dienlich ist. So merkt Uwe FLICK hierzu an:
„Diese Perspektiven sollten so weit als möglich gleichberechtigt und gleichermaßen konsequent behandelt und umgesetzt werden. Durch die Triangulation (etwa verschiedener Methoden oder verschiedener Datensorten) sollte ein prinzipieller Erkenntniszuwachs möglich sein, dass also bspw. Erkenntnisse auf unterschiedlichen Ebenen gewonnen werden, die damit weiter reichen, als es mit einem Zugang möglich wäre.“ (FLICK 2008, 12)
Hierfür ist es wichtig, die Möglichkeiten der Triangulation im QEE-Verfahren zu erkennen. In einem zweiten Schritt werden daher nun für die beiden Verfahren Metaevaluation Q2E und QEE die zu triangulierten Daten, Methoden und Theorien systematisch ermittelt und gegenüber gestellt.. Die erkennbaren Veränderungen wollen wir hinsichtlich ihrer Auswirkungen auf die vier Formen der Triangulation analysieren, um Hinweise für den Optimierungsbedarf in der Konzeption, in den Abläufen, bei den Methoden oder den Instrumenten zu erhalten.
Hierzu haben wir die folgende Übersicht erstellt. In ihr sind die Triangulationsmöglichkeiten der beiden Verfahren Metaevaluation nach Q2E und externe Evaluation nach QEE den jeweiligen Triangulationsformen zugeordnet und die Veränderungen in QEE in Bezug auf Q2E kursiv gesetzt.
Abb.3: Triangulation (kursiv: Veränderungen bei QEE gegenüber Q2E)
Auf der Grundlage der in der Tabelle dargestellten Veränderungen sollen nun gegliedert nach den Formen der Triangulation unsere Erfahrenen reflektiert werden.
Datentriangulation:
Im QEE-Verfahren sind repräsentative quantitative Daten durch die Onlinebefragungen vorhanden. Das Verhältnis quantitativer und qualitativer Daten zueinander hat sich verändert. Die quantitativen Daten aus den Ratings im Q2E-Verfahren entsprechen, was die Schülerinnen und Schüler betrifft, nicht dem Gütekriterium der Repräsentativität, während dies bei den Lehrkräften in beiden Verfahren gegeben ist (jeweils mehr als 66%). Die Triangulation der Daten erfolgt nun auf der Grundlage zusätzlicher repräsentativer quantitativer Daten, was dem Vertrauen in die Ergebnisse zuträglich sein wird. Zudem ermöglicht das Verfahren Daten aus den Unterrichtsbesuchen hinsichtlich der Qualität in diesem zentralen Bereich von Schule zu nutzen, um von der Metaebene entkoppelt, Beispiele aus diesem Bereich mit anderen Daten aus Interviews, Konzepten und Ratingkonferenzen* triangulieren zu können.
Antworten auf Ratingfragen fallen als Gesprächsanlass in den Ratingkonferenzen* weg. Die Ergebnisse aus den Online-Befragungen sollten diese Funktion übernehmen. Dabei ergaben sich jedoch Zweifel hinsichtlich der Sinnhaftigkeit dieses Vorgehens. Sind die Daten zu u. U. zu dominant, da sie durch eine große Anzahl von Befragten ermittelt wurden und die eigene Einschätzung nicht mehr in Erinnerung ist, bzw. eine Minderheitenmeinung darstellt. Das könnte dazu führen, die freie Meinungsäußerung zu behindern, wodurch die Diskussion eingeschränkt wäre hinsichtlich ihrer Möglichkeiten. Zudem stellt sich die Frage, ob man die gleichen Fragen wieder vorlegen soll, die die Teilnehmenden bereits beantwortet haben. Auch die Ratings nach Q2E dienen eher als Gesprächsanlässe und haben weniger den Anspruch, repräsentative Voten zu generieren. Vor diesem Hintergrund erscheint es möglich, über andere geeignete Einstiege ins Gespräch nachzudenken. Bezogen auf die hermeneutische Herangehensweise ist ein Entkoppelung der Interviews von der kriterienorientierten Befragung zudem wünschenswert.
Die Ergebnisse aus den Onlinebefragungen erhöhen die Repräsentativität der quantitativen Daten. Dies ermöglicht eine Fokussierung in den Interviews und Ratingkonferenzen* auf das Ausleuchten von Hintergründen, Motiven und dem Sammeln von Beispielen zur Interpretation und Triangulation mit den quantitativen Daten und der QM-Dokumentation. Bei der Durchsicht der Fragen in der Vorbereitung auf die Evaluation wurden insbesondere Fragen, die ein tieferes Verständnis der Ergebnisse aus den Online-Befragungen ermöglichen und hierzu Beispiele als Beleg generieren, gewählt. Wir haben uns dabei in Interviews und Ratingkonferenzen* nach den folgenden Einschätzungen für die Zusammenstellung der Befragungsinstrumente orientiert:
· Partizipation und Unterstützung in den Entwicklungsprozessen (der Prozess vom Leitbild zum Qualitätsleitbild, die Generierung von Themen für Selbstevaluationen, Instrumente, Entstehung und Arbeit von PUQUE)
· Akzeptanz der Qualitätsarbeit und Wissen über das Qualitätsmanagementsystem
· Einschätzungen von Aufwand und Ertrag (Nutzen) der Qualitätsarbeit in den verschiedenen Q2E-Komponenten
· Wirksamkeit und Wirkung anhand von Beispielen ermitteln
· Mitarbeitergespräche, weil sie nicht explizit in der Online-Befragung erfragt werden
Diese Fragen könnten auch im Rahmen eines Gruppeninterview, eines Workshops oder einer Konferenz ihre Wirkung entfalten. Sie könnten unabhängig von den Items der Online-Befragung gestellt werden, und in der Art der Fragestellung eher auf erzählerische Darbietung von Information, denn auf ein kriterienorientiertes Abarbeiten eines Fragekataloges abzielen. Der hermeneutischen Herangehensweise könnte so ein fester Raum im Verfahren zugeordnet werden, was deren Position im Verfahren festigt.
Personentriangulation:
In der Pilotevaluation QEE waren statt vier Personen (Q2E) sogar fünf Personen im Einsatz: zwei Evaluatoren, zwei Schulinspektoren sowie eine Peer aus dem Arbeitsbereich Empirische Fundierung der Schulinspektion. Letztere arbeiteten mit einem erweitertem Auftrag: Für die Primärevaluation waren 82 Unterrichtsbesuche angesetzt, die sich für die drei Personen entsprechend den Anwesenheitszeiten der Schülerinnen und Schüler über die vier Tage verteilten. Synergien sollten in diesem Pilotverfahren durch Einsatz nach den jeweiligen personellen Stärken genutzt werden. Die für die Triangulation notwendige Verzahnung der beiden Verfahren durch gemeinsame Zeitfenster wurde in der Planung von uns nicht ausreichend berücksichtigt, der diesbezügliche Bedarf dem Primat des reibungslosen Ablaufs beider Verfahrensteile unterworfen.
Eine Voraussetzung für Teamarbeit sind gemeinsame Zeitfenster für die Verdichtung der Ergebnisse und der Kalibrierung hinsichtlich der Unterrichtsbesuche. Die relativ strikte Aufteilung der Arbeitspakete nach Personen führte dazu, dass zwei Teams an ihren Prozessen arbeiteten; meist entkoppelt von den Prozessen in dem anderen Team. Wenn dies zeitgleich in einem Raum erfolgt, so teilt sich das Team auf und Rücksichtnahme wird erforderlich, wenn diese Arbeiten parallel durchgeführt werden. Es stellt sich für uns die dringende Frage, welche Struktur der Detailplanung ermöglicht wieder ein höheres Maß an personeller Triangulation, um diese Option zur Objektivierung der Ergebnisse wieder stärker zu nutzen. Dabei gehen wir auch davon aus, dass die erlebte Gemeinsamkeit in der Arbeit und das Teamgefühl unterstützt werden.
Methodentriangulation:
Das zusätzliche Verfahren der Onlinebefragung erhöht die Repräsentativität der Daten und ermöglicht eine höhere Datenvielfalt und -dichte. Die Items der Onlinefragebögen entsprechen dem Wortlaut von Q2E. Allerdings wurde der so bisher in Ratingkonferenzen* und Interviews nach Q2E weniger konsequent verwendet. Insbesondere in den Ratingkonferenzen* wurden die Items in den Ratingfragebogen adressatengerecht formuliert. So wurde der Fachbegriff Qualitätsdefizite durch den eher umgangssprachlichen Begriff Beschwerden ersetzt. Es ist zu überlegen, ob der Wortlaut einiger Items für die Online-Befragung in diesem Sinne abgeändert werden sollte, oder ob im Rahmen der Ratings die Gesprächsanlässe verändert werden könnten. Eventuell ist es auch sinnvoll, weniger Items zu präsentieren, oder es ist ausreichend, durch eine veränderte Moderation, die stärker die Bezüge zu den Daten herstellt, eine vorhandene Distanz zu den Daten zu überbrücken. Eine Alternative stellt die Durchführung von leitfadengestützten Interviews dar, die auf der Grundlage der Ergebnisse der Onlinebefragung vorbereitet werden und diejenigen Bereiche fokussieren, die aufgrund des quantitativen Datenmaterials als besonders relevant und erläuternswert erscheinen.
Theorientriangulation:
Hinsichtlich der theoretischen Fundierung unterscheiden sich Q2E und Schulinspektion, wie im 3. Kapitel dargelegt: Q2E räumt der Entwicklungsorientierung einen stärkeren Raum ein, als der Legitimierung, während die Schulinspektion versucht, Entwicklung auf der Grundlage einer validen Datenbasis den Schulen zu ermöglichen, ohne Hinweise auf die Art und Richtung nächster Schritte zu geben. Auf statistisch validen Ergebnissen, die den Ist-Stand beschreiben, sollen die Schulen ihre Qualitätsentwicklungsmaßnahmen ergreifen können; oft eingebettet in Zielvereinbarungen, die sie mit der Schulaufsicht schließen. In QEE sind diese beiden Theoretischen Ansätze nun verbunden und sollen in einem gleichberechtigten Verhältnis zueinander wirken. Die unterschiedlichen Ansätze der Bestandsaufnahme und der Suche nach Ansätzen und Ausblicken, bzw. möglichen Wegen sind ein erkennbares Unterscheidungsmerkmal in den Diskussionsbeiträgen im Team. Eventuell könnte der Auftrag für beide Bereiche Metaevaluation und Primärevaluation Handlungsempfehlungen zu geben, helfen, die Entwicklungsorientierung im Verfahren zu stützen. Dabei könnten sich die Empfehlungen der Primärevaluation deutlich auf Maßnahmen im Rahmen des QM-Systems beziehen, um Empfehlungen zur eigentlichen Praxisveränderung im Bereich Lehren und Lernen zu vermeiden.
Als Reflexionsergebnis halten wir fest, dass sich die Konfiguration der Triangulationsformen und die Möglichkeiten der Triangulation in der Pilotevaluation nach QEE gegenüber einer Q2E-Metaevaluation verändert haben. Empfundenen Nachteilen der verminderten personellen Triangulation steht eine systematische- durch die Protokollvorlage unterstützte - verstärkte Datentriangulation entgegen. Die Qualität der Protokollierung im QEE-Verfahren direkt in den Laptop ist als Qualitätszuwachs im quantitativen und qualitativen Sinn anzusehen. Die verfassten Protokolle sind im Vergleich zu den uns bekannten Flipchartprotokollen aus dem Q2E-Verfahren umfangreicher, sie werden kriterienorientiert geführt und die Ergebnisse werden kriterienorientiert protokolliert. Damit entsteht die Möglichkeit der elektronischen Weiterverarbeitung im Prozess der Datenauswertung (Zusammenführung der Befunde aus unterschiedlichen Datenquellen zu einem Kriterium).
Die Methodentriangulation erfolgt in einem erweiterten Umfang, da sie nun durch das quantitative Verfahren der Onlinebefragung ergänzt wird. Die Menge der zu triangulierenden Daten ist gewachsen. Dies hat seine Ursache in den Daten der Online-Befragung und den ausführlicheren Protokollen sowie den Daten der Unterrichtsbesuche, die mit jenen der Metaevaluation in Beziehung gesetzt werden. Damit diese Vorteile genutzt werden können, ist eine stärkere Verschränkung der Evaluationsteile und ein Einsatz aller evaluierenden Personen in beiden Teilen von QEE notwendig. So können die in der Konzeption angelegten Vorteile in Gänze ausgeschöpft werden. Einer Gefahr der Dominanz der quantitativen Datenbasis wird dadurch begegnet, dass Eindrücke und Erlebnisse während des Evaluationsbesuchs trianguliert in die Ergebnisfeststellung eingehen. Die beiden theoretischen Ansätze Hermeneutik (als profilorientiertes Vorgehen) und Kriterienorientierung (zur operationalisierten Erfassung von Stärken und Schwächen) sind im Verfahren gegeben. Die Gleichberechtigung von Rechenschaftslegung und Entwicklungsorientierung wird so verfahrenstechnisch gewährleistet.
In der praktischen Erprobung der „modifizierten“ Ratingkonferenzen* fiel auf, dass es schwierig ist, einen Bezug zwischen den in der Ratingkonferenz* anwesenden Personen und ihren gruppenspezifisch zusammengestellten und ausgewählten Befragungsergebnissen herzustellen. Der unmittelbare Bezug der Befragten zu ihren Daten, der die Ratingkonferenz* ansonsten auszeichnet, fehlt. Dieser Effekt ist sicherlich auch auf die einfache und klare Fragestruktur zurückzuführen. Erläuterungsbedürftige, höherprädikative Formulierungen wurden bei der Fragebogenkonstruktion ja gerade vermieden. Mit zunehmender Erfahrung der Evaluatoren konnte dieser „Fremdheit“ der Befragten gegenüber den Daten zwar entgegen getreten werden, trotz ausführlicher Einführungen und Erläuterungen ließ sich die Distanz kommunikativ aber nur begrenzt abbauen.
Diese Erfahrung und die Reflexion dieser methodischen Variation führt für die weitere Konzeption des Verfahrens eher zu Überlegungen, mit den verschiedenen Schüler- und Lehrergruppen fokussierte Interviews zu führen, deren thematische Schwerpunkte sich an den Ergebnissen der Onlinebefragung orientieren. Im Vorfeld der Evaluationsmaßnahme – und sukzessive im Verlauf der Evaluation vor Ort – werden aus einem Pool von Fragen und Stichworten jeweils gruppenspezifisch Interviewleitfäden zusammengestellt, ergänzt und präzisiert, die die Grundlage für ein leitfadengestütztes Gruppeninterview bilden. Da das Merkmal der Repräsentativität über die Onlinebefragung abgedeckt wird, erscheint als ideale Gruppengröße 6 bis 8 Personen. Die Interviewdauer sollte je nach Gruppe zwischen ca. 45 und 90 Minuten variieren.
Das Evaluationsverfahren an der Schule konzentrierte sich bei der Datenerhebung stark auf die Erhebung von Daten der schulischen Akteure, d. h. der Schulleitung, der Lehrkräfte, des nicht unterrichtenden Personals, der Schülerinnen und Schüler sowie Studierenden. Vor dem Hintergrund der Triangulierung von Perspektiven erscheint es ratsam, auch die Perspektive der Ausbildungsbetriebe, die ja die wesentlichen Kooperationspartner im Rahmen der dualen Ausbildung und in der Regel „Abnehmer“ der Berufsschüler sind, in die Rückmeldung zur Qualität der schulischen Arbeit einzubinden. Eine Diskussion darüber, wie dies methodisch im QEE-Verfahren erfolgen kann, sollte erfolgen.
Im Vorfeld der Evaluation haben sich alle Teammitglieder auf die Evaluation durch Dokumentenanalyse und die Untersuchung der Befragungsergebnisse auf die Schule vorbereitet. Aufgrund der geringen Überschneidungen im Kompetenzprofil der eingesetzten Evaluatoren (Evaluator 1: Ausbildung Q2E-Metaevaluator und Grundkenntnisse Unterrichtsbeobachtung; Evaluator 2: Schulinspektor und Ausbildung Q2E-Metaevaluator; Evaluatorin 3: Ausbildung Q2E-Metaevaluatorin; Evaluatorin 4: Schulinspektorin und Peererfahrung Q2E) war es aber vor Ort nicht möglich, eng verzahnt zu arbeiten. Während die Inspektoren den Bereich Metaevaluation unterstützen konnten (u. a. Dokumentenanalyse vorab, Protokollierung, Verdichtung), war dies umgekehrt nicht der Fall. Dies ist aber aus mehreren Gründen wünschenswert und notwendig (s. o.). Vor dem Hintergrund einer stärkeren Verschränkung von Primär- und Metaevaluation, der Perspektiven und Theorien ist es notwendig, Evaluatoren einzusetzen, die für die Datenerhebung und -auswertung zu beiden Evaluationsbereichen ausgebildet sind. Das stellt die zentrale Gelingensbedingung dar, um das folgende – idealisierte und abstrahierte – Modell zu realisieren:
Abb. 4: Vorschlag zur Detailplanung QEE-Hessen
Als Lösung stellen wir uns also vor, dass jedes Teammitglied alle Arbeitspakete beherrscht: Moderation, Protokollierung, Unterricht beobachten usw. Die Kommunikation im Team bzw. die Entwicklung eines ganzheitlichen Bildes wird dann durch vier personelle Perspektiven unterstützt. Diese Lösung muss jedoch neben der Qualifikation der Evaluatoren die Praktikabilität der Durchführung von Unterrichtsbesuchen berücksichtigen, deren Durchführung sich an der Anwesenheit der verschiedenen Lerngruppen im Zeitraum des Evaluationsbesuchs orientiert. Unterrichtsbesuche nehmen im Verfahren zeitlich einen großen Rahmen ein. Unterstützt wird so jedoch eine Verschränkung mit der Einschätzung von Unterrichtspraxis, der die Diskussion auf der Metaebene durch konkrete Beispiele der Qualität in diesem zentralen Bereich von Schule bereichert. Eine Konkretisierung der Einschätzung anhand von Beispielen aus dem Unterrichtsgeschehen wäre der Gewinn und lenkt die Aufmerksamkeit im Team und in der Schule auf das Kerngeschäft Unterricht.
Grundlage für die Entwicklung von Kriterien und Kerninformationen für die Metaevaluation war das erste Q2E-Bewertungsraster. Grund dafür war, dass die Schulen in die Qualitätsentwicklung nach Q2E mit dem entsprechenden Raster für die externe Evaluation eingestiegen sind. Im Mai 2010 ist ein neues Bewertungsraster für die externe Evaluation nach Q2E in Kraft getreten. Nach einer Übergangsphase gilt dieser neue Bewertungsmaßstab ab 2012. Dementsprechend wird das Konzept QEE derzeit an dieses neue Raster angepasst. Damit ist eine Q2E-Zertifizierung grundsätzlich möglich.
Die Pilotierung wird entsprechend der gewählten arbeitsteiligen Vorgehensweise von allen Beteiligten hinsichtlich Planung, Durchführung, Organisation sowie der Qualität und Quantität der generierten Daten insgesamt als großer Erfolg angesehen. Um das Verfahren aber auch unabhängig von Einzelpersonen und erfolgreich hinsichtlich seiner Potenziale zu gestalten, sind weitere Optimierungen und auch Standardisierungen notwendig. Diese beziehen sich neben der Datenerhebung (Interview) auf eine stärkere Verschränkung der beiden Evaluationsteile und die Teamarbeit. Die Hoffnung ist, dass sich so das Triangulationsprinzip noch schlüssiger anwenden lässt und Synergien aus den Ergebnissen der Metaevaluation und der Primärevaluation für die Verbesserung von Schule und Unterricht entstehen.
Zentraler Gewinn des kombinierten Verfahrens ist es insbesondere für diejenigen Schulen, der QMS noch nicht vollständig entwickelt ist, eine fundierte Rückmeldung zum Unterricht der Schule zu bekommen. Einerseits lassen sich so zentrale Entwicklungsschwerpunkte im „Kerngeschäft“ von Schule identifizieren, zum anderen lässt sich so auch eine Aussage zum Funktionieren (oder Nicht-Funktionieren) des schulischen Qualitätsmanagements treffen.
Als generellen Erfolg sehen wir es an, dass mit QEE-Hessen für alle Maßnahmen der schulischen Qualitätsentwicklung und Qualitätssicherung nun der Hessische Referenzrahmen Schulqualität als verbindlicher Orientierungsrahmen dient, der einheitliche Kriterien vorgibt, auf dessen Basis Schule entwickelt, evaluiert, legitimiert und gesteuert werden kann.
DENZIN, U. (1970): The Research Act in Sociology: A Theoretical Introduction to Sociological Methods. London.
GALETZKA, C./ MARTIN, C./ RUSSOW, W. (2008): Q2E in Hessen. Hessisches Kultusministerium. Online: http://selbstverantwortungplus.bildung.hessen.de/material/SVplus_Materialband_3.pdf (20-02-2012).
INSTITUT FÜR QUALITÄTSENTWICKLUNG (Hrsg.) (2008): Hessischer Referenzrahmen für Schulqualität. Online: http://www.kultusministerium.hessen.de/irj/servlet/prt/portal/prtroot/slimp.
CMReader/HKM_15/IQ_Internet/med/f27/f27ba4c2-e162-1f01-2f31-
e2389e481851,22222222-2222-2222-2222-222222222222 (20-02-2012).
LANDWEHR, N./ STEINER, P. (2003): Das Q2E-Modell – Schritte zur Schulqualität. Aspekte eines ganzheitlichen Qualitätsmanagements an Schulen. Broschüre 1. Bern.
LANDWEHR, N./ STEINER, P. (2003a): Grundlagen der externen Schulevaluation. Verfahrensschritte, Standards und Instrumente zur Evaluation des Qualitätsmanagements. Broschüre 5. Bern.
LANDWEHR, N./ STEINER, P./ KELLER, H. (2003): Schritte zur datengestützten Schulevaluation. Broschüre 4. Bern.
SPÖHRING, W. (1989): Qualitative Sozialforschung. Stuttgart.
BRÜDIGAM, U./ MARTIN, C. (2012): QEE-Hessen: ein kombiniertes Verfahren für die Externe Evaluation von selbstständigen Schulen in Hessen. In: bwp@ Berufs- und Wirtschaftspädagogik – online, Ausgabe 21, 1-26. Online: http://www.bwpat.de/ausgabe21/bruedigam_martin_bwpat21.pdf (26-03-2012).
bwp@-Format:
