1. Ausgangpunkte

Lehrqualität ist nicht objektiv bestimmbar. Eine der zentralen Herausforderungen des lehrbezogenen Qualitätsmanagements besteht deshalb darin, ein gemeinsames, normatives Verständnis des Konstrukts „Lehrqualität“ zu schaffen. Schulleitungen, Evaluatoren, Lehrende und Lernende brauchen eine klare Vorstellung darüber, was gute Hochschullehre ist bzw. sein soll. Dies manifestiert sich auf der Ebene der Institution in einem Identität stiftenden, handlungsleitenden Bildungs- und Lern- und Didaktikverständnis sowie darauf bezogenen Standards und Indikatoren für die Hochschullehre. Zu diesem Zweck kann es nützlich sein, die Qualität der Hochschullehre ganzheitlich zu erfassen und die Ansprüche und Zielsetzungen verschiedener Anspruchsgruppen wie z. B. Lehrpersonen, Lernende oder Schulleitung zu integrieren.

Im Fachbereich Wirtschaft der FHS St.Gallen, Hochschule für Angewandte Wissenschaften, wird die Lehrqualität in Anlehnung an POSCH und ALTRICHTER (1997, 130) sowie DUBS (2004, 16) im Sinne des „Total Quality Management Ansatzes“ multidimensional und multiperspektivisch, d. h. in Form einer Reihe von sich beeinflussenden Teilqualitäten über den gesamten schulischen Wertschöpfungsprozess hinweg erfasst. Der lehrbezogenen Qualitätsevaluation und -entwicklung wird dementsprechend ein Input-Prozess-Output-Modell zugrunde gelegt (vgl. Abb. 1).

Abb.1:   Input-Prozess-Output-Modell als Grundlage des lehrbezogenen Qualitätsmanagements

Die Qualität der Lehre wird gemäß dem dargestellten Modell durch Inputs (z. B. Eingangskompetenzen von Lehrenden und Lernenden, Lern- und Didaktikverständnis der Institution, Infrastruktur, lehrbezogenes Anreizsystem), Prozesse (Verhalten der Lehrenden und Lernenden im Lehr-Lern-Geschehen) und daraus resultierenden Ergebnissen (Outputs und Outcomes) bestimmt. Entsprechend können Input-, Prozess- und Ergebnisqualitäten unterschieden und diese entweder einzeln oder in ihrer Wirkung (z. B. Einfluss der studentischen Eingangskompetenzen auf das Verhalten der Lernenden und Lehrenden) fokussiert und weiterentwickelt werden. Dabei gilt es zu beachten, dass im Hinblick auf einen Faktor eine hohe Qualität und in Bezug auf einen anderen gleichzeitig eine niedrige Qualität vorliegen kann (POSCH/ ALTRICHTER 1997, 130). Im Rahmen des intern konzipierten, lehrbezogenen Qualitätsmanagements (Selbst- und Fremdevaluation)[1] ist zu entscheiden, welche Dimensionen (Teilqualitäten) in der lehrbezogenen Qualitäts- und Entwicklungsarbeit mit welchen Verfahren und Instrumenten fokussiert werden sollen. Als Entscheidungshilfe können Evaluationsergebnisse sowie gegenwärtige und zukünftige, allgemeine und hochschulspezifische Entwicklungen herangezogen werden.

Im Fachbereich Wirtschaft der FHS St.Gallen erfolgte das lehrbezogene Qualitätsmanagement bisher, wie an zahlreichen anderen Hochschulen, in erster Linie prozess- und dozierendenorientiert. Im Fokus stand die Evaluation des Lehrverhaltens während des Kontaktstudiums durch die Studierenden. Ergänzend dazu fanden kollegiale Lehrveranstaltungsbesuche statt. Das Verhalten von Studierenden sowie Prüfungen und Prüfungsprozesse, welche die Qualität der Hochschullehre in wesentlichem Maße mit beeinflussen, blieben im Evaluationskonzept weitgehend unberücksichtigt. Wenig Aufmerksamkeit erhielten auch Input- und Ergebnisqualitäten. Diese wurden nicht oder nur am Rande erhoben. Beispielsweise fehlten ein Konzept sowie ein Verfahren zur systematischen Erfassung und Weiterentwicklung der didaktischen Eingangs-kompetenzen von neuen Dozierenden, und es bestanden keine verlässlichen Vorstellungen über die Eingangskompeten­zen und Studierleistungen der Studienanfängerinnen und -anfänger.

Letzteres wurde als besonders gravierendes Defizit empfunden, zumal die Mitverantwortung der Studierenden für eine hohe Lehrqualität merklich gestiegen ist und weiter zunehmen wird. Dafür zeichnen mehrere Entwicklungen verantwortlich:

• die gestiegene und weiter zunehmende Bedeutung des (angeleiteten) Selbststudiums gegenüber dem Kontaktstudium im Zuge der Bologna-Reform;

• die weiter steigenden Studierendenzahlen bei gleichzeitig knapper werdenden finanziellen Mitteln;

• die Tendenz zu grösseren „Studierendengruppen“ und zur Verschlechterung der Betreuungsverhältnisse;

• die teilweise sehr heterogene Vorbildung der Fachhochschulstudierenden;

• die sinkende Halbwertszeit der Ausbildungsinhalte.

Nebst den Studierenden tragen die Lehrenden einen wesentlichen Teil der Verantwortung für die Lehrqualität. Wie erwähnt konzentrierte sich an der FHS St.Gallen das auf die Dozierenden gerichtete Qualitätsmanagement bisher auf die Evaluation von Lehrveranstaltungen durch die Studierenden. Legitimieren lässt sich dieses Vorgehen unter anderem mit dem internationalen Forschungsstand, der studentischen Beurteilungen gute Noten attestiert (vgl. z. B. ABRAMI 1989, CASHIN 1995, FELDMAN 1989, MCKEACHIE 1997, RINDERMANN 2001). Ungeachtet dessen waren das Verfahren und das Instrument zur studentischen Lehrveranstaltungsevaluation innerhalb der Dozierendenschaft umstritten. Kritisiert wurde vor allem, dass das Erhebungsinstrument keiner psychometrischen Validierung unterzogen worden war und die Studierenden inhaltliche und didaktische Aspekte sowie die Fachkompetenz der Dozierenden beurteilen mussten, wozu Studierende aber kaum in der Lage sind. Kritisiert wurde auch, dass den entwicklungsorientierten Maßnahmen auf der Grundlage der Evaluationsergebnisse (gezielte didaktisch-methodische Beratung und Weiterbildung) zu wenig Beachtung geschenkt wurde. Auf Seiten der Studierenden wurde bemängelt, dass eine Besprechung der Resultate der Lehrveranstaltungsevaluationen zu selten stattfand. Die didaktischen Eingangskompetenzen neuer Dozierender wurden in der Vergangenheit nicht systematisch überprüft. Dies erscheint in Anbetracht der Tatsache, dass Fachhochschuldozierende im Rahmen der Lehrausübung nicht nur als Fachwissenschaftler und/oder Praktiker, sondern immer stärker auch in ihrer Rolle als Hochschuldidaktiker gefordert sind und vor dem Hintergrund, dass ausreichende hochschuldidaktische Qualifikationen im Zuge von Akkreditierungsverfahren gegenwärtig und zukünftig vermehrt eingefordert werden, problematisch.

Ein weiterer Faktor, der vom lehrbezogenen Qualitätsmanagement an Hochschulen häufig ausgeklammert wird, ist das Prüfungswesen, obwohl bekannt ist, dass die Form und Qualität der Prüfungen eine starke Lenkungswirkung auf das Studierendenverhalten, und damit einher gehend auf die Qualität der Lehr-Lern-Prozesse und die Lernleistungen entfalten. Vor diesem Hintergrund liegt es nahe, auch Prüfungen bzw. Leistungsnachweise systematisch in die Evaluations- und Qualitätsentwicklungsarbeit zu integrieren.

Wie bereits eingangs erwähnt, sollte der Qualitätsevaluation und -entwicklung eine gemeinsame Vorstellung darüber zugrunde liegen, was das Wesen der Bildung grundsätzlich sein soll, was also unter „Bildung“ als dem Inbegriff der pädagogischen Aufgabe verstanden werden soll und welche Ziele mit der Bildungsarbeit erreicht werden sollen (Bildungsverständnis). Ausgehend vom Bildungsverständnis sind als Grundlage für die Qualitätsarbeit auch das Lern- und Didaktikverständnis zu klären. Ersteres gibt Auskunft über die Bedingungen des Lernens und die Rolle der Lernenden im Lehr-Lern-Geschehen. Das Didaktikverständnis (Lehrverständnis) macht deutlich, wie in einer Bildungsinstitution die Lehre in curricularer, methodischer und evaluativer Hinsicht geplant und gestaltet werden soll bzw. wird, d. h. welche Rolle die Lehrenden im Lehr-Lern-Geschehen wahrnehmen sollen.

2. Ausgangsfragen

Die im vorangehenden Kapitel geschilderten Befunde werfen mit Blick auf ein wirksames, lehrbezogenes Qualitätsevaluations- und Entwicklungssystem an Hochschulen mehrere Fragen auf:

(1)  Was bedeutet „Bildung“, „Lehren“ und „Lernen“ an einer Hochschule, und welche Rollen (Verantwortungen) haben Lehrende und Lernende im Lehr-Lern-Geschehen (Frage nach dem Bildungs-, Lern- und Lehrverständnis als Grundlage für die Qualitätsevaluation und -entwicklung)?

(2)  Wie können die Kompetenzen der Studierenden evaluiert und weiterentwickelt werden?

a) Wie lassen sich die Studierkompetenzen (Sach-, Selbst- und Sozialkompetenzen) der Studienanfängerinnen und -anfänger unter Berücksichtigung der Lernleistungen evaluieren und wirksam verbessern (Input- und Ergebnisperspektive)?

b) Wie lässt sich das Verhalten der Studierenden im Lehr-Lern-Geschehen evaluieren und weiterentwickeln, d. h. wie kann der Beitrag des Studierendenverhaltens zur Qualität der Hochschullehre in das lehrbezogene Qualitätsevaluations- und Entwicklungssystem integriert werden (Prozess- und Ergebnisperspektive)?

(3)  Wie können die Kompetenzen der Hochschuldozierenden evaluiert und weiterentwickelt werden?

a) Wie können die Eingangskompetenzen neuer Dozierender überprüft und bei Bedarf weiterentwickelt werden (Input- und Prozessperspektive)?

b) Wie kann ein Verfahren zur Evaluation des Dozierendenverhaltens durch Studierende aussehen, das theoretisch fundiert und mit dem Lehr- und Lern-Verständnis kongruent ist und gute psychometrische Eigenschaften aufweist (Prozess- und Ergebnisperspektive)?

c) Was sind gute Prüfungen (Leistungsnachweise) und wie lässt sich die Prüfungsqualität gezielt evaluieren und weiter entwickeln (Prozessperspektive)?

In den folgenden Kapiteln werden am Beispiel des Fachbereichs Wirtschaft der FHS St.Gallen mögliche Antworten auf diese Ausgangsfragen skizziert sowie umsetzungsbezogene Aspekte und Erfahrungen reflektiert.

3. Institutionelle Grundlagen der Qualitätsevaluation und -entwicklung

Die Qualitätsarbeit an einer Hochschule erfordert, wie bereits erwähnt, eine Grundlage auf der Ebene der Institution.

An der FHS St.Gallen erfolgte diese Grundlegung in konzeptionell-inhaltlicher Hinsicht durch die Entwicklung eines fachbereichsübergreifenden, gemeinsamen Bildungs-, Lern- und Didaktikverständnisses. Das Bildungsverständnis bringt die grundlegende Vorstellung darüber zum Ausdruck, was an der FHS St.Gallen unter „Hochschulbildung“ verstanden wird und welche Ziele mit der Bildungsarbeit verfolgt werden. Aufbauend auf dem Bildungsverständnis dokumentiert das Lernverständnis die Vorstellung und die Bedingungen des Lernens sowie die Rolle der Lernenden. In Anlehnung an REINMANN/ MANDL (2006, 638) wird Lernen an der FHS St.Gallen als ein zielorientierter, aktiv-konstruktiver, selbstgesteuerter und instruktional unterstützter, situativer, emotionaler, individueller und sozialer Prozess verstanden. Das Verständnis von Lernen als sozialer Prozess betont die Interaktion zwischen Studierenden und Dozierenden. Für die lehrbezogene Qualitätsentwicklung und -evaluation bedeutet dies, dass sowohl dem Beitrag der Dozierenden zur Lehrqualität als auch jenem der Studierenden eine zentrale Bedeutung beigemessen wird. Um das Bildungs- und Lernverständnis in der täglichen Bildungsarbeit wirksam werden zu lassen, wurde an der FHS St.Gallen auch ein fachbereichsübergreifendes Didaktikverständnis (Lehrverständnis) erarbeitet, das den Dozierenden für die Planung, Durchführung bzw. Begleitung und Evaluation des Kontakt- und Selbststudiums als Orientierung und für die Qualitätsevaluation und -entwicklung als Leitlinie dienen soll.

In organisatorischer Hinsicht wurde der institutionellen Grundlegung des lehrbezogenen Qualitätsmanagements durch die Gründung des Zentrums für Hochschulbildung ZHB-FHS Rechnung getragen (vgl. www.fhsg.ch/zhb). Das ZHB-FHS befasst sich mit aktuellen und zukunftsgerichteten Fragen der Hochschulbildung. Es ist unter anderem in der konzeptionell-inhaltlichen Ausgestaltung des Qualitätsmanagements, der Weiterentwicklung der Kompetenzen von Dozierenden und Studierenden sowie in der kompetenz- und qualitätsorientierten Bildungsforschung tätig. In diesem Sinne ist das ZHB-FHS Ausdruck eines institutionellen Qualitätsmanagements, das sich nicht nur der Evaluation, sondern in besonderem Maße auch der Kompetenzentwicklung verpflichtet. Als Bezugsgröße dient dabei der gesamte schulische Wertschöpfungsprozess, von den Inputs, über die Prozesse bis hin zu den Outputs des Lehrens und Lernens.

Abb. 2 zeigt das lehrbezogene Qualitätsmanagement des Fachbereichs Wirtschaft der FHS St.Gallen im Kontext seiner konzeptionellen Grundlegungen.

Abb. 2:  Übersicht über das Konzept der lehrbezogenen Qualitätsevaluation und
-entwicklung im Fachbereich Wirtschaft der FHS St.Gallen

In den folgenden Kapiteln werden die im Fachbereich Wirtschaft der FHS St.Gallen implementierten Evaluationsinstrumente und -verfahren sowie die darauf abgestimmten Entwicklungsmaßnahmen (vgl. Abb. 2) dargestellt und erste Erfahrungen reflektiert.

4. Evaluation und Entwicklung der Studierkompetenzen

4.1 Eingangskompetenzen von Studienanfängerinnen und -anfängern

4.1.1 Evaluation der Studierkompetenzen

Ausgehend von der Feststellung, dass die Studierenden eine immer größere Verantwortung für die Lehrqualität tragen, wurden im Fachbereich Wirtschaft der FHS St.Gallen die Lernleistungen (Ergebnisqualitäten) der Studienanfängerinnen und -anfänger sowie mögliche Einflussfaktoren (Inputqualitäten) auf die Studienleistungen umfassend analysiert und gezielte Maßnahmen zur Steigerung der Studierkompetenz und damit der Qualität der Lehre abgeleitet. Im Mittelpunkt der Untersuchung stand die Frage, inwieweit die Studienanfängerinnen und -anfänger die von der FHS St.Gallen auf der Assessmentstufe (erstes Studienjahr) geforderten Kompetenzen erfüllen. Zur Beantwortung dieser Frage wurden die studentischen Leistungsdaten in allen Modulen der Studieneingangsphase analysiert und mögliche Einflussfaktoren auf die Studienleistungen identifiziert. Als Stichprobe dienten drei Assessmentjahre (Herbstsemester 2006 bis Frühlingssemester 2009) bzw. 563 Studierende (ohne Repetierende). Die Auswertung der Daten erfolgte anhand von Kontingenz- und Korrelationsanalysen sowie Chi-Quadrat-Tests. Die Ergebnisse können in verkürzter Form wie folgt zusammengefasst werden:

(1)  „Quantitative“ Ausbildungsmodule (finanzielles und betriebliches Rechnungswesen, Mikroökonomie, Mathematik und Statistik, Betriebswirtschaftslehre) haben eine vergleichsweise hohe Selektionswirkung. Dies deutet darauf hin, dass ein erheblicher Teil der Studienanfänger/innen über unzureichende Eingangskompetenzen in Mathematik und/oder Rechnungswesen verfügt, zumal in den genannten, selektiven Modulen gute Kenntnisse in mindestens einem der beiden Fachgebiete vorausgesetzt werden.

(2)  Zwischen den „quantitativen“ Modulen korrelieren die Studierendenleistungen stark und sehr signifikant (.602 ≤ r ≤ .662; p = .01). Studienanfänger/innen mit unzureichenden Eingangskompetenzen in Mathematik und/oder Rechnungswesen sind deshalb besonders gefährdet, die Assessmentstufe nicht zu bestehen.

(3)  Die Art der Vorbildung (kaufmännische Berufsmaturität, gymnasiale Maturität, technisch-gewerbliche Berufsmaturität, ausländischer Ausweis) hat einen signifikanten, schwachen bis mittelstarken Einfluss auf die Studienleistung bei folgenden Modulen: Betriebswirtschaftslehre (χ² = 10.119; φ = .139; p = .038), finanzielles Rechnungswesen (χ² = 33.812; φ = .255; p = .000), Informatikanwendungen (χ² = 12.739; φ = .156; p = .013), Business English (χ² = 24.105; φ = .286; p = .000). Studierende mit einem ausländischen Ausweis oder einer technisch-gewerblichen Berufsmaturität schneiden dabei tendenziell schlechter ab als Studierende mit einer kaufmännischen Berufsmaturität oder einer gymnasialen Vorbildung. Im Besonderen trifft dies für das Modul „finanzielles Rechnungswesen“ zu. Die Art der kaufmännischen Berufsmaturität (Erwerb der Berufsmaturität integriert in die berufliche Grundbildung oder im Anschluss an die berufliche Grundbildung) hat keinen signifikanten Einfluss auf die Studierleistungen.

(4)  Das Studienmodell (berufsbegleitendes oder Vollzeit-Studium) hat einen signifikanten, schwachen bis mittelstarken Einfluss auf die Studienleistung bei folgenden Modulen: Betriebliches Rechnungswesen (χ² = 10.833; φ = .156; p = .001), Obligationenrecht (χ² = 3.874; φ = .102; p = .049), Räume und Kulturen (χ² = 5.818; φ = .108; p = .016), Staaten und Politische Programme (χ² = 6.198; φ = .114; p = .013), Mathematik/ Statistik I (χ² = 9.033; φ = .113; p = .003). Studierende, die das berufsbegleitende Studienmodell wählen, sind dabei tendenziell erfolgreicher als Vollzeitstudierende.

(5)  Die Zubringerschule hat einen signifikanten, mittelstarken Einfluss auf die Studienleistung bei folgenden Modulen: Finanzielles Rechnungswesen (χ² = 45.126; φ = .342; p = .000), Mikroökonomie (χ² = 25.492; φ = .277; p = .013), Business English (χ² = 36.739; φ = .406; p = .000). Dieser Befund gewinnt an Brisanz, wenn man bedenkt, dass gerade die beiden Module „Mikroökonomie“ und „finanzielles Rechnungswesen“ eine hohe Selektionswirkung aufweisen.

(6)  Das Geschlecht hat keinen signifikanten Einfluss auf den Studienerfolg in der Studieneingangsphase.

Zusammenfassend lässt sich feststellen, dass die Studienanfängerinnen und -anfänger teilweise erhebliche Lücken in ihrem fachlichen Vorwissen, insbesondere in den Kerngebieten Betriebswirtschaftslehre, Volkswirtschaftslehre, Rechnungswesen sowie Mathematik und Statistik aufweisen. Gleichzeitig bekunden viele Studierende in der Studieneingangsphase Mühe, den eigenen Lernprozess zu gestalten und die vorhandenen fachlichen Lücken selbständig zu schließen (Mangel an Selbstlernstrategien und Metakognition). Beide Faktoren – ungenügendes fachliches Vorwissen und mangelnde Selbstlernstrategien – beeinträchtigen unweigerlich die Qualität der Lehre, und zwar nicht nur die Qualität der Lehr-Lern-Prozesse, sondern auch die Ergebnisqualitäten, sprich die Lernleistungen und die Zufriedenheit der Studierenden und Dozierenden.

4.1.2 Weiterentwicklung der Studierkompetenzen

Die Ansatzpunkte zur Weiterentwicklung der Studierkompetenzen sind vielfältig und können nach zwei Dimensionen gegliedert werden, die Antworten auf zwei Fragen geben (vgl. Tabelle 1):

(1)  An welchem Lernort finden die Maßnahmen statt? Lernortspezifische Ansätze finden innerhalb der Hochschule statt, während die Hochschule bei vertikalen Lernortkooperationen die Zusammenarbeit mit den vorgelagerten Bildungsinstitutionen sucht.

(2)  Welches Ziel wird mit den Maßnahmen verfolgt? Bei der Umsetzung von Förderansätzen besteht das Ziel darin, die Studierenden mit geeigneten Maßnahmen in ihren Studierkompetenzen weiterzuentwickeln. Bei selektionsorientierten Ansätzen wird hingegen beabsichtigt, über Prüfungsverfahren oder Leistungsnachweise diejenigen Studierenden mit ausreichenden Studierkompetenzen (z. B. in Bezug auf Leistungsmotivation, Eigeninitiative oder Selbstverantwortung) auszuwählen.

Tabelle 1:  Ansatzpunkte zur Verbesserung der Studierkompetenzen

Im Fachbereich Wirtschaft der FHS St.Gallen werden – mit Ausnahme des selektionsorientierten Ansatzes in vertikaler Lernortkooperation – in allen Quadranten Maßnahmen zur Verbesserung der Studierkompetenz umgesetzt.

Als lernortspezifischer selektionsorientierter Ansatz dient das bereits eingeführte und bewährte Assessmentjahr. Dieses soll sicherstellen, dass nur Studierende mit ausreichenden Studierkompetenzen in das zweite Studienjahr (Hauptstudium) übertreten können. Neu werden die Zulassungsverfahren für Studierende ohne kaufmännische Berufsmaturität sowie mögliche Anpassungen überprüft.

Als lernortspezifische Förderansätze wurden bereits Vorkurse in Finanzbuchhaltung (24 Lektionen) und Mathematik (48 Lektionen) eingeführt, die vor Beginn des Studiums stattfinden. Diese Kurse richten sich an Personen mit geringen oder fehlenden Kenntnissen in der Finanzbuchhaltung sowie an Personen mit lückenhaften oder unsicheren Mathematikkenntnissen bzw. Personen, bei denen der letzte Mathematikunterricht bereits länger zurückliegt. Die Erfahrungen mit den Vorkursen sind positiv. Erfahrungsgemäß belegen ca. 15-20% der Studienanfängerinnen und -anfänger die Vorkurse. Der grosse Teil der Personen, die Vorkurse belegen, kann von den Inhalten in hohem Ausmass profitieren. Nur wenige Teilnehmende bringen bereits ausreichende Kenntnisse mit. Ergänzend zu den Vorkursen finden während des Assessmentjahrs freiwillige Stützkurse in Mathematik/Statistik statt. Sie dienen dazu, die im Unterricht erarbeiteten Inhalte anhand von Übungen zu festigen und zu vertiefen. Wie bei den Vorkursen besteht auch nach den Stützkursen eine hohe studentische Nachfrage. Bei Bedarf können die Studierenden zusätzlich zu den Vor- und Stützkursangeboten auch persönliche Studienberatungen durch die Studiengangleitung in Anspruch nehmen. Eine systematische Evaluation des Studierendenverhaltens durch die Dozierenden (vgl. dazu Kap. 4.2) soll künftig zudem helfen, Defizite bei der Gestaltung der Lernprozesse der Studierenden zu erkennen und gezielte Fördermaßnahmen einzuleiten.

Ein besonders hoher Nutzen ist von vertikalen Lernortkooperationen, also von zwischen den Lernorten abgestimmten Maßnahmen zu erwarten. Ein erster wichtiger Schritt in diese Richtung ist in der Evaluation der neuentwickelten kantonalen Lehrpläne der Wirtschaftsmittelschulen im Auftrag des Bildungsdepartementes des Kantons St.Gallen zu sehen. Das Zentrum für Hochschulbildung ZHB-FHS untersuchte die Frage, inwieweit die in den Mittelschullehrplänen aufgeführten Inhalte und Lektionenbudgets eine hinreichende Vorbereitung auf das Studium an der Fachhochschule ermöglichen. Um diese Frage zu beantworten, wurden die Fachlehrpläne Rechnungswesen, Volkswirtschaftslehre, Betriebswirtschaftslehre und Recht sowie Mathematik entlang der folgenden fünf Fragestellungen überprüft:

1. Deckt der Lehrplan alle für ein Fachhochschulstudium vorausgesetzten Wissensbereiche ab? Fehlen allenfalls bedeutsame Wissensbereiche? Welche Wissensbereiche sind aus Sicht des Fachhochstudiums nicht zwingend erforderlich?
   
   
2. Werden innerhalb der Wissensbereiche die für ein Fachhochschulstudium vorausgesetzten Inhalte behandelt? Fehlen einzelne Inhalte, die für ein erfolgreiches Studium bedeutsam sind? Welche Inhalte sind aus Sicht des Fachhochstudiums nicht zwingend erforderlich?
   
   
3. Entsprechen die formulierten Leistungsziele (Abgangskompetenzen) innerhalb der Wissensbereiche bzgl. Taxonomiestufe den erwarteten Eingangskompetenzen für ein Fachhochschulstudium? Sind die Leistungsziele aus Sicht der Fachhochschule und des Rahmenlehrplans auf einem angemessenen Prozessniveau (Anspruchsniveau) formuliert?
   
   
4. Ist die gewählte Gewichtung (Lektionenzahl) der einzelnen Wissensbereiche ausreichend, insbesondere auch im Hinblick auf ein erfolgreiches Studium an der FHS? Inwiefern sollten Anpassungen an der Lektionenzahl vorgenommen werden?
   
   
5. Ist die geplante Lektionendotation für das gesamte Fach ausreichend, um die erforderlichen Eingangsvoraussetzungen für ein erfolgreiches Studium an der FHS zu schaffen? Inwiefern sollten Anpassungen an der Lektionenzahl vorgenommen werden?

Die Ergebnisse der Evaluation haben zu curricularen Anpassungen bei den Zubringer-Mittelschulen sowie zu Entwicklungsmaßnahmen (fachdidaktische Weiterbildungen) bei den Lehrpersonen der Zubringerschulen geführt.

4.2 Verhalten der Studierenden im Lehr-Lern-Geschehen

4.2.1 Evaluation des Studierendenverhaltens

Die bereits seit langem bestehende Evaluation des Dozierendenverhaltens durch Studierende wurde im Fachbereich Wirtschaft um die Evaluation des Studierendenverhaltens seitens der Dozierenden ergänzt. Dahinter steht die Überzeugung, dass für das Gelingen von Lehr-Lern-Prozessen Dozierende und Studierende gleichermassen in der Verantwortung stehen (vgl. dazu die Ausführungen in Kap. 1). Im fachbereichsübergreifenden Lernverständnis wird die Rolle der Studierenden im Lehr-Lern-Prozess wie folgt umschrieben: Die Studierenden sollten „bereit sein, die Chance einer Hochschulbildung zu nutzen und deshalb Leistung zu erbringen und ein hohes Mass an Verantwortung für den eigenen Lernprozess zu übernehmen. Dies bedeutet, dass sie klare und realistische Ziele vor Augen haben, hohe Anforderungen an sich selbst stellen und bereit sind, ihr Lernverhalten selbständig zu steuern, regelmässig zu reflektieren und gegebenenfalls zu modifizieren. Sie bereiten sich angemessen auf das Kontaktstudium vor, nehmen aktiv daran teil, erfüllen die im angeleiteten Selbststudium erteilten Aufträge gewissenhaft und gehen verantwortungsvoll mit den zur Verfügung gestellten Wahlmöglichkeiten und Freiheiten um.“ Um das Studierendenverhalten im Rahmen der Unterrichtsevaluation zu erfassen, beantwortet der/die Dozent/in zum gleichen Zeitpunkt, wie die Studierenden das Dozierendenverhalten beurteilen, auf das Lernverständnis bezogene Fragen zum Studierendenverhalten. Dabei werden drei Skalen zugrunde gelegt:

• Engagement/Eigenverantwortung (Item-Bsp.: „Die Studierenden übernehmen Verantwortung für den eigenen Lernerfolg“),
  
  
• Leistungsorientierung (Item-Bsp.: „Die Studierenden gehen anspruchsvollen Aufgaben nicht aus dem Weg“),
  
  
• Sozialverhalten („Die Studierenden gehen respektvoll mit ihren Mitstudierenden um“).

Neben den geschlossenen, beantworten die Dozierenden auch drei offene Fragen: Was hat mir an den Studierenden besonders gut gefallen? Welche Änderungen bzw. Verbesserungen wünsche ich mir? Was ich sonst noch zu den Studierenden sagen möchte.

4.2.2 Entwicklungsmaßnahmen zum Studierendenverhalten

Die auf das Studierendenverhalten gerichteten Entwicklungsmaßnahmen können an verschiedenen Stellen ansetzen: Im Zusammenhang mit der Besprechung der Ergebnisse aus der Dozierendenevaluation diskutieren die Dozierenden mit den Studierenden auf der Grundlage des Lern- und Didaktikverständnisses gleichzeitig ihre Wahrnehmungen bezüglich des Studierendenverhaltens. Dabei ist dem Umstand Rechnung zu tragen, dass der Fragebogen keine Fragen zum individuellen Studierendenverhalten, sondern zum jeweiligen Sozialverband enthält. Bei den Einschätzungen handelt es sich somit um durchschnittliche Ausprägungen eines Merkmals, die mit der Klasse bzw. Studierendengruppe diskutiert, geklärt und bei Bedarf angepasst werden sollen. Die Ergebnisse aus der Evaluation des Studierendenverhaltens geben den Dozierenden auch Hinweise auf die zukünftige Gestaltung ihres Unterrichts (z. B. umfassendere Klärung der Rollenerwartungen zu Beginn der Lehrveranstaltung, erforderliche Anpassungen bei den Unterrichtsmaterialien). Die Ergebnisse der Evaluation des Studierendenverhaltens werden in aggregierter Form auch der Studiengangleitung zur Verfügung gestellt. Dadurch soll erkannt werden, ob weitere Einzelgespräche mit Studierenden oder mit Gruppen von Studierenden erforderlich sind. Zur Förderung der Studierkompetenzen und zur Weiterentwicklung des Studierendenverhaltens können neben den geschilderten Gesprächen auch spezifische Maßnahmen in die bestehenden Module integriert oder allenfalls neue Module zur Förderung von überfachlichen Kompetenzen geschaffen werden.

5. Evaluation und Entwicklung der Lehrkompetenzen

5.1 Eingangskompetenzen von Dozierenden

5.1.1 Evaluation der Eingangskompetenzen

Lehrpersonen sind Repräsentanten der Hochschule und tragen eine entscheidende Mitverantwortung für die Qualität der Lehre. Im Personalauswahlverfahren ist deshalb aus der Perspektive der Lehrqualität neben der Fachkompetenz und der Persönlichkeit insbesondere den didaktisch-methodischen Eingangskompetenzen die nötige Beachtung zu schenken. Im Fachbereich Wirtschaft der FHS St.Gallen erfolgt dies über Probelektionen, die mittlerweile einen festen Bestandteil des Anstellungsprozesses ausmachen. Das Verhalten der Berberinnen und Bewerber im Rahmen einer Probelektion wird nach den Standards, welche im Didaktikverständnis formuliert sind, beurteilt. In Übereinstimmung mit den Befunden der Assessment-Center-Forschung, welche darauf hinweisen, dass die mangelnde Transparenz der Anforderungsdimensionen die Konstruktvalidität reduziert (KLEINMANN 1997, 131), werden die didaktischen Bewertungsstandards für Probelektionen den neuen Dozierenden im Vorfeld offen gelegt.

Probelektionen werden in der Regel nach einem definierten Standardverfahren, in Ausnahmefällen nach einem angepassten Verfahren durchgeführt.

Das Standardverfahren umfasst zwei Leistungselemente: Der Kandidat bzw. die Kandidatin wird erstens gebeten, eine schriftliche Unterrichtsvorbereitung zur Probelektion mitzunehmen. Daraus soll hervorgehen, wie das definierte Thema mit den Studierenden im Rahmen einer üblichen Lehreinheit erarbeitet würde; die Unterrichtsvorbereitung enthält deshalb Aussagen zu den Lernzielen, den Lerninhalten, den Lernschritten, den Unterrichtsverfahren, den Hilfsmitteln und der zeitlichen Planung. Als Hilfestellung erhält der Kandidat bzw. die Kandidatin eine exemplarische Unterrichtsvorbereitung. Der Kandidat bzw. die Kandidatin hat zweitens eine Unterrichtssequenz von einer Lektion (45 Minuten) durchzuführen, in der das vorgegebene Thema bzw. ein Aspekt davon erarbeitet werden. Diese Unterrichtssequenz wird nach Möglichkeit in authentischen (natürlichen) Interaktionssituationen gehalten. Kandidaten bzw. Kandidatinnen, die bereits an einer anderen, vergleichbaren Institution unterrichten, können auch dort besucht werden. Steht kein natürliches Setting für die Durchführung einer Probelektion zur Verfügung (z. B. in der unterrichtsfreien Zeit), so wird sie vor einem Expertengremium gehalten. An der Probelektion sind in der Regel folgende Funktionsträger vertreten: Die Studiengangleitung und/oder mindestens ein Didaktikexperte des Zentrums für Hochschulbildung ZHB-FHS, ein Fachverantwortlicher sowie ein geeigneter Vertreter bzw. eine geeignete Vertreterin des Instituts, des Kompetenzzentrums oder der Fachstelle, in welcher der Kandidat bzw. die Kandidatin angestellt werden soll.

Das Thema der Probelektion wird durch den Fachverantwortlichen bestimmt. Dabei wird dem Kandidaten bzw. der Kandidatin ein angemessener inhaltlicher und didaktischer Interpretations- und Handlungsspielraum belassen. Eine zu enge Themenvorgabe birgt nämlich die Gefahr, dass didaktische Handlungsoptionen übermäßig eingeschränkt werden, oder dass die Aufmerksamkeit der Beteiligten zu stark auf inhaltliche Details gelenkt wird. Die vollständig freie Themenwahl durch den Bewerbenden erscheint ebenfalls nicht sinnvoll, weil dies die Beurteilung der fachlichen und didaktischen Kompetenzen bezogen auf das zu unterrichtende Themengebiet erschweren und verzerren kann.

Den Entscheid über die Anstellung eines Kandidaten bzw. einer Kandidatin als Lehrperson trifft die Studiengangleitung in Absprache mit dem Zentrum für Hochschulbildung ZHB-FHS. Folgende Entscheide sind möglich: Anstellung, Anstellung mit Auflagen (z. B. befristete Anstellung oder Besuch einer spezifischen Weiterbildung), keine Anstellung. Neu angestellte Lehrpersonen werden im ersten Semester, in welchem sie unterrichten, von der Studiengangleitung oder einem Mitarbeitenden des ZHB-FHS besucht. Diese Hospitation und das anschließende Gespräch dienen der Standortbestimmung sowie der Auslotung allfälliger (weiterer) Entwicklungsmaßnahmen.

5.1.2 Weiterentwicklung der Eingangskompetenzen

Für Personen, welche erstmals einen Lehrauftrag übernehmen, aber auch für Dozierende, welche im Sinne einer Sofortmaßnahme Anregungen zur Gestaltung ihres Kontaktunterrichts suchen, bietet das Zentrum für Hochschulbildung ZHB-FHS einen „Starter Kit in Hochschuldidaktik“ an. Es handelt sich dabei um eine didaktische Basisqualifikation im Umfang von drei Präsenztagen. Die Teilnehmenden werden in die Lage versetzt, den eigenen Unterricht auf der Grundlage eines Prozessmodells systematisch zu planen und durchzuführen. Ausgehend von einem fachhochschulspezifischen Bildungs- und Kompetenzverständnis werden sie dazu befähigt, gute Lernziele zu formulieren und Lehrinhalte lernwirksam zu strukturieren, geeignete Lehrstrategien für die Erarbeitung der Lehrinhalte zu entwerfen und zentrale Grundsätze für die methodische Gestaltung von Unterrichtseinheiten umzusetzen. Im Rahmen eines Microteachings erhalten die Teilnehmenden die Gelegenheit, eine eigene Unterrichtsequenz zu planen und durchzuführen. Von didaktischen Experten erhalten sie im Anschluss an die Durchführung eine fundierte Rückmeldung sowie konkrete Empfehlungen zur Weiterentwicklung ihres Lehrverhaltens.

Den neuen Lehrpersonen bietet das ZHB-FHS auch individuelle didaktisch-methodische Beratungen und Coachings an. Ziel ist es, Lehrpersonen in ausgewählten Unterrichtsfragen bedarfsgerecht zu unterstützen bzw. sie im Anschluss an die Identifikation individueller Entwicklungspotenziale während eines zeitlich befristeten Prozesses bei der Weiterentwicklung ihrer didaktischen Eingangskompetenzen zu begleiten.

5.2 Verhalten der Dozierenden im Lehr-Lern-Geschehen

5.2.1 Evaluation des Dozierendenverhaltens

Im Fachbereich Wirtschaft der FHS St.Gallen werden bereits seit geraumer Zeit studentische Unterrichtsbeurteilungen durchgeführt. Das bisherige Verfahren und das Instrument waren jedoch innerhalb der Dozierendenschaft umstritten und wurden auch von den Studierenden kritisiert (vgl. Kap. 1). Aus diesem Grund entschied sich der Fachbereich Wirtschaft der FHS St.Gallen, im Rahmen eines Forschungsprojektes einen neuen, psychometrisch validierten Fragebogen zur Evaluation des Dozierendenverhaltens zu entwickeln, welcher sich am übergeordneten Lern- und Didaktikverständnis orientiert.

In Anlehnung an BÜHNER (2006) sowie LIENERT/ RAATZ (1998) erfolgte die Fragebogenentwicklung in fünf Phasen (vgl. Abb. 3).

Abb. 3:  Phasen der Instrumentenentwicklung

Die Überprüfung der Inhaltsvalidität des Fragebogens erfolgte zum einen auf der Basis einschlägiger, wissenschaftlicher Literatur (z. B. MEYER 2004; HELMKE 2009; DUBS 2009) und von Expertenratings. Zu den befragten Experten gehörten Didaktikexperten, Dozierende, Leiter/innen von Instituten, die Fachbereichsleitung (Mitglied der Schulleitung) sowie die Evaluationsverantwortlichen. Im Rahmen einer kommunikativen Validierung wurden zudem 233 Bachelor-Studierende gebeten, den Fragebogen in Bezug auf Verständlichkeit und Beurteilbarkeit der Items kritisch zu würdigen und Anregungen zu formulieren.

Die Konstrukt- bzw. strukturelle Validität des neuen Fragebogens wurde mittels Faktorenanalysen (n = 233) untersucht. Die Ergebnisse nach dem zweiten Pretest sind aus Tabelle 2 ersichtlich.

Tabelle 2:   Ergebnisse der Faktorenanalysen

Hauptachsenanalyse mit Varimax-Rotation und Kaiser-Normalisierung

Die Ladungen der extrahierten Skalen „Ziel- und Ergebnisorientierung“, „Klarheit und Verständlichkeit“, „Effizienzorientierung“ und „Variation“ können insgesamt als gut, diejenigen des Faktors „Beziehungsgestaltung“ als knapp befriedigend bezeichnet werden. Die vorgesehene Skala „Hilfsmittel- und Medieneinsatz“ konnte nicht repliziert werden. Die entsprechenden Items wurden deshalb neu entwickelt und werden im Rahmen der Pilotphase erneut getestet.

Die Reliabilität des neuen Fragebogens wurde anhand der internen Konsistenz der Skalen (Cronbachs Alpha) gemessen (n = 233). Wie aus Tabelle 3 hervorgeht, können die Skalenreliabilitäten nach dem zweiten Pretest in Anlehnung an BÜHNER (2006, 140) mehrheitlich als „mittel“ bezeichnet werden (vgl. auch FISSENI 1997, 124).

Tabelle 3:  Ergebnisse der Reliabilitätsanalyse

Obschon die Beurteilung des Dozierendenverhaltens im Interesse einer hohen Rücklaufquote mit Papier und Bleistift erfolgt, erscheint das Beurteilungsverfahren hinreichend ökonomisch. Das Ausfüllen des Fragebogens nimmt etwa 15 bis 20 Minuten in Anspruch, und das Erfassen der Antworten sowie deren Auswertung erfolgen rechnergestützt mit Hilfe einer professionellen Auswertungssoftware.

Der Fragebogen für die Pilotphase wurde aufgrund der Ergebnisse der Validitäts- und Reliabilitätsanalyse nochmals bereinigt und durch die Skala „Hilfsmittel- und Medieneinsatz“ sowie neuen Items ergänzt. Er umfasst sechs Skalen (Ziel- und Ergebnisorientierung, Klarheit und Verständlichkeit, Effizienzorientierung, Variation, Beziehungsgestaltung, Hilfsmittel- und Medieneinsatz) mit 27 Items. Zusätzlich zu diesen 27, enthält der Fragebogen drei Items zur Studierkompetenz (Selbstbeurteilung durch die Studierenden) sowie drei offene Fragen. Die Bewertungsskala umfasst sechs Ausprägungen sowie die Kategorie „nicht beurteilbar“. Im Hinblick auf den Datenerhebungs- und Auswertungsprozess wurde ein Merkblatt für die Dozierenden formuliert. Das Merkblatt soll Auskunft geben über den Ablauf der Evaluation und weitere organisatorische Aspekte, sowie eine Hilfe bieten bei der Interpretation der Auswertung. Die Auswertung beinhaltet eine grafische Darstellung der individuellen Ergebnisse, den individuellen Mittelwert über alle relevanten Items, den Gesamtmittelwert aller evaluierten Lehrpersonen (ermittelt als ungewichteter Mittelwert über alle relevanten Fragen) sowie detaillierte Auswertungen zu jeder Frage (Skalenzugehörigkeit, Histogramm, Mittelwert, Median, Standardabweichung, 95%-Konfidenzintervall). Die Pilotphase erstreckt sich über das Herbstsemester 2011/2012. Der Fragebogen wird in allen Klassen des Bachelor-Studienganges eingesetzt (n = ca. 1‘400), nochmals getestet und bei Bedarf angepasst.

Rückblickend lässt sich festhalten, dass sich im Zusammenhang mit der Validierung des Fragebogeninstrumentes der Einbezug der betroffenen Anspruchsgruppen sowie die Kombination von quantitativen und qualitativen Verfahren bewährt haben. Damit konnte unter Anderem gewährleistet werden, dass der Fragebogen und das entsprechende Verfahren von den Schlüsselpersonen mitgetragen werden. Als besonders wichtig erwiesen sich dabei die Einbindung von didaktischen Experten und Evaluationsverantwortlichen während des gesamten Entwicklungsprozesses. Durch die Abstimmung der Skalen und Fragebogenitems mit dem übergeordneten Didaktikverständnis konnte ein wichtiger Beitrag zur Umsetzung der normativen Grundlagen des lehrbezogenen Qualitätsmanagements im Unterrichtsalltag geleistet werden. Die Pilotphase soll angesichts der eingeschränkten Möglichkeiten zur Befragung von Studierenden im Rahmen von Pretestverfahren dazu dienen, eine breite Datenbasis für weitere Validierungen und allfällige Anpassungen zu schaffen.

5.2.2 Entwicklungsmaßnahmen zum Dozierenden verhalten

Im Rahmen eines entwicklungsorientierten bzw. formativen Qualitätsverständnisses kommt der didaktisch-methodischen Weiterbildung von Hochschuldozierenden eine zentrale Bedeutung zu. Das didaktische Weiterbildungskonzept der FHS St.Gallen, welches vom ZHB-FHS entwickelt wird, enthält neben Weiterbildungskursen, die sich spezifischen Aspekten der Lehrkompetenz widmen, einen CAS Studiengang in Hochschuldidaktik im Umfang von 10 ECTS (ca. 300 Lern- und Arbeitsstunden). Mit dem CAS-Studium werden die individuellen didaktisch-methodischen Kompetenzen von Hochschuldozierenden und von in der Lehre tätigen Mittelbauangehörigen systematisch und umfassend gefördert und damit ein Beitrag zur Steigerung der Qualität der Hochschullehre geleistet. Auf der Grundlage des bereits erwähnten Didaktikverständnisses werden zentrale Grundsätze und Methoden zur Planung, Durchführung und Evaluation des Kontakt- bzw. zur Planung, Begleitung und Evaluation des angeleiteten Selbststudiums erarbeitet und umgesetzt. Der CAS-Studiengang in Hochschuldidaktik gliedert sich in ein Basis- und ein Vertiefungsstudium. Die einzelnen Module orientieren sich an vier Handlungsfeldern: „Planen und Durchführen von Kontaktstudium“, „Planen und Begleiten von Selbststudium“, „Planen und Durchführen von Leistungsnachweisen“ sowie „Reflektieren, Evaluieren und Weiterentwickeln der eigenen Lehrtätigkeit“.

Ein weiteres, wichtiges Element in der Verwirklichung eines gemeinsamen Didaktikverständnisses stellen in Ergänzung zu den studentischen Evaluationen des Dozierendenverhaltens Hospitationen bzw. Lehrveranstaltungsbesuche dar. Im Fachbereich Wirtschaft der FHS St.Gallen werden Hospitationen von Peers (Fachkolleginnen bzw.
-kollegen), von Vorgesetzten sowie von didaktischen Expertinnen und Experten durchgeführt. Um die kollegialen Hospitationen (Peer-to-Peer-Hospitationen) zu unterstützen, wurde ein didaktisches Instrumentarium entwickelt, das aus einem Rahmenkonzept und einem Formular für die Selbst- und Fremdbeurteilung besteht. Das definierte Verfahren für die Durchführung der kollegialen Hospitationen lässt den beteiligten Lehrpersonen einen angemessenen Gestaltungsfreiraum für ihre reflexive, professionelle Weiterentwicklung: Die Lehrpersonen definieren gemeinsam in der frei gewählten Peer-Gruppe die didaktisch-methodischen Kriterien, welche eine zielgerichtete Reflexion bzw. Beobachtung des Unterrichts und ein strukturiertes Feedbackgespräch ermöglichen. Hinsichtlich dieser Beobachtungskriterien sollen sie sich am Didaktikverständnis orientieren. Das definierte Verfahren beruht auf kollegialem Austausch und Selbstreflexion.

Die didaktische Weiterentwicklung von Dozierenden kann schließlich auch durch individualisierte didaktisch-methodische Beratungen und Coachings erfolgen.

5.3 Evaluation und Entwicklung der Prüfungsqualität

5.3.1 Evaluation der Prüfungsqualität

Erfahrungsgemäß steuern Prüfungen das Studierendenverhalten im Lehr-Lern-Geschehen stark. Vor diesem Hintergrund setzt das definierte strategische Ziel der hohen Lehrqualität auch eine hohe Prüfungsqualität voraus. Die Prüfungen sollten fair sein und die testtheoretischen Anforderungen an Prüfungen bestmöglich erfüllen (vgl. AERA, APA, NCME 2002, BAKER, LINN/ HERMAN 1996, LIENERT/ RAATZ 1998, LINN/ GRONLUND 1995, MESSICK 1994, METZGER/ NÜESCH 2001): In erster Linie sollten die Prüfungen valide (gültig) sein. Dies ist dann der Fall, wenn sie die Kompetenzen erfassen, welche die Studierenden aufgrund der Modulbeschreibung und des erlebten Unterrichts beherrschen müssten. Deshalb sollten die Prüfungsaufgaben einerseits angemessen über die Sachgebiete und Themen des Moduls streuen (Themengültigkeit), andererseits sollte der Schwierigkeitsgrad der Prüfungsaufgaben bzgl. Inhalt und gefordertem Denkprozess[2] angemessen sein (Inhalts- und Prozessgültigkeit). Es geht also bei der Gültigkeit darum „das Richtige zu prüfen“. In zweiter Linie müssen die Prüfungen reliabel (objektiv) sein, d. h. sie sollen die Leistung der Studierenden korrekt und ohne Messfehler erfassen. Dies setzt erstens voraus, dass die Durchführungs- und Interpretationsobjektivität gewährleistet ist. Dies ist dann der Fall, wenn die Prüfung als Ganzes formal angemessen gestaltet ist, die notwendigen Anleitungen zur Bearbeitung der Prüfung klar formuliert und die Prüfungsaufgaben in der vorgesehenen Zeit von einem „Normalstudierenden“ lösbar sind. Die einzelnen Aufgabenstellungen (Problemstellungen und Aufträge) müssen zudem vollständig, präzise und verständlich sein. Für die Studierenden muss klar sein, welche Form der Lösung erwartet wird. Zweitens muss eine zuverlässige Prüfung der Auswertungsobjektivität angemessen Rechnung tragen: Die Korrekturkriterien und die Punktevergabe müssen bereits im Vorfeld der Prüfung definiert werden, damit die Korrekturen verschiedener Dozierender auch über verschiedene Studierende hinweg möglichst vergleichbar ausfallen. Bei der Zuverlässigkeit geht es also darum „das Richtige ohne Messfehler, d. h. richtig zu erfassen“.

Die Gestaltung der Prüfungsevaluation kann entlang der in Tabelle 4 dargestellten Kriterien und Ausprägungsmöglichkeiten erfolgen.

Tabelle 4:  Ausprägungsmöglichkeiten der Prüfungsevaluation

Die schraffierten Felder widerspiegeln das an der FHS St.Gallen im Fachbereich Wirtschaft entwickelte Evaluationskonzept, das sich am Grundsatz orientiert, dass das zentrale Ziel des Qualitätsmanagements die Hochschulentwicklung ist. Deshalb wurde ein formatives Evaluationsmodell gewählt, indem die von den Dozierenden konstruierten schriftlichen Prüfungen gemäß festgelegtem Turnus bereits vor der Durchführung der Prüfung evaluiert werden. Ziel dieses Vorgehens ist, bestehende Mängel rechtzeitig zu erkennen und zu beseitigen. Zunächst werden die Prüfungen im Assessmentjahr fokussiert, die am meisten Studierende ablegen, anschließend die Bachelor- und Masterprüfungen. Die Evaluation erfolgt nicht flächendeckend, sondern stellt sicher, dass alle Dozierenden mindestens ein Feedback zu einer selbstentwickelten Prüfung erhalten. Die häufigsten Prüfungsformen im Fachbereich Wirtschaft sind die schriftlichen Modulschlussprüfungen, gefolgt von testatpflichtigen Seminararbeiten. Mündliche Prüfungsleistungen finden vielfach in Form von Präsentationen in Verbindung von Seminararbeiten statt. Fachgespräche sind hingegen eher selten. Aus diesem Grund werden in einem ersten Schritt die schriftlichen Prüfungen evaluiert, es ist aber durchaus denkbar, dass zu einem späteren Zeitpunkt die testatpflichtigen Seminararbeiten in den Blick genommen werden. Die Evaluation ist als Kombination von Selbstevaluation durch die prüfungsstellenden Dozierenden und Fremdevaluation durch interne Experten (Dozierende am Zentrum für Hochschulbildung) konzipiert. Grundlage für die Evaluation bilden verschiedene Dokumente, wie Prüfungsaufgaben, Lösungsskizzen und Bewertungsraster, die anhand der Leitfragen zur Reflexion einer schriftlichen Prüfung (vgl. Tabelle 5) kritisch reflektiert werden.

Der Prozess der Prüfungsevaluation läuft wie folgt ab: Die Modulverantwortlichen erstellen zusammen mit dem Dozierendenteam, die das jeweilige Modul unterrichten, die Modulschlussprüfung. Unterstützt werden sie bei der Gestaltung einer gültigen und zuverlässigen Modulschlussprüfung durch das Zentrum für Hochschulbildung ZHB-FHS, das Empfehlungen bzw. Richtlinien für die Gestaltung der Prüfungen formuliert (z. B. Übersichtsblätter mit Lösungshinweisen für die Studierenden, Standards für die Formulierung von Mehrfachwahlaufgaben) und den Dozierenden zugänglich macht. Das Dozierendenteam reflektiert die entwickelte Modulschlussprüfung anhand der Leitfragen zur Reflexion von schriftlichen Prüfungen (vgl. Tabelle 5) kritisch, bevor die Modulschlussprüfung inkl. Musterlösung an das ZHB-FHS zur Begutachtung eingereicht wird. Das ZHB-FHS prüft die eingereichte Modulschlussprüfung anhand derselben Leitfragen unter Beizug der Modulbeschreibung und allfällig zusätzlich eingereichten Erläuterungen des/der Modulverantwortlichen. Gegenstand der Überprüfung ist die Übereinstimmung mit den Lernzielen gemäß Modulbeschrieb (Gültigkeit) sowie die Verständlichkeit der Aufgabenstellungen und die formale Gestaltung der Prüfung als Ganzes (Durchführungs- und Interpretationsobjektivität). Die eingereichte „Musterlösung“ bzw. die eingereichten „Bewertungsraster“ dienen insbesondere dazu, zu überprüfen, inwieweit – unter Berücksichtigung der jeweiligen Bearbeitungsform der Prüfungsaufgaben – eine angemessen zuverlässige Korrektur ermöglicht wird (Korrekturobjektivität). Die fachliche Richtigkeit der Aufgaben wird im Rahmen der Prüfungsevaluation nicht beurteilt. Das ZHB-FHS gibt den Modulverantwortlichen eine Rückmeldung zur eingereichten Modulschlussprüfung, in der Regel in Form eines Feedbackgesprächs. Den Dozierenden wird zu Beginn des Gesprächs das von den internen Experten ausgefüllte Feedbackformular ausgehändigt. Das Feedbackgespräch erfolgt entlang der Leitfragen in der Form eines Expertengesprächs auf gleicher Augenhöhe. Das Feedbackgespräch ermöglicht es, Verständnisfragen zu klären, allfällige unterschiedliche Sichtweisen zu diskutieren und gemeinsam nach Lösungen zu suchen. Falls erforderlich überarbeiten die Modulverantwortlichen die Modulschlussprüfung und reichen die überarbeitete Version dem Fachbereichssekretariat definitiv ein. Das ZHB-FHS erhält davon eine Kopie. Die Verantwortung für die Modulschlussprüfung verbleibt bei den jeweiligen Dozierenden.

Tabelle 5:   Leitfragen zur Reflexion einer schriftlichen Prüfung (für Modulverantwortliche und interne Experten)

Tabelle in Anlehnung an: METZGER/ NÜESCH 2004, 41-42.

Der skizzierte Ablauf der Prüfungsevaluation wurde in einer Pilotphase über zwei Semester mehrfach getestet. Ziel der Pretests war es, die entwickelten Instrumente und Verfahren (z. B. Leitfragen für Dozierende zur Selbstreflexion, Kriterienraster für die Prüfungsevaluation, Form des Feedbackgesprächs) im Hinblick auf ihre Eignung in verschiedenen Fachgebieten zu überprüfen und gleichzeitig den geplanten Ablauf mit erfahrenen Dozierenden zu diskutieren, um allfällige Problembereiche oder Hindernisse zu identifizieren. Zudem sollten die Pretests eine erste Einschätzung der Qualität der im Fachbereich Wirtschaft eingesetzten Prüfungen erlauben. Zu diesem Zweck wurden insgesamt sieben Modulschlussprüfungen evaluiert. Basis für die Evaluation waren die von den jeweiligen Modulverantwortlichen zugänglich gemachten Prüfungen inkl. Lösungsskizzen und Beurteilungsraster. Hinzugezogen wurden zudem die aktuellen Modulbeschreibungen. Die Evaluation der Prüfungen erfolgte durch die Mitarbeitenden des ZHB-FHS mit Hilfe eines Feedbackformulars. Dieses diente als Grundlage für das anschließende Feedbackgespräch mit dem/der Modulverantwortlichen. Die Modulverantwortlichen erhielten zur Vorbereitung des Feedbackgesprächs dieselben Beurteilungskriterien in Form von Leitfragen zur Selbstreflexion.

Die im Rahmen der Pilotphase gemachten Erfahrungen sind mehrheitlich positiv. Die Leitfragen zur Prüfungsevaluation bewähren sich und können in verschiedenen Fachgebieten eingesetzt werden. Alle durchgeführten Gespräche fanden in konstruktivem Rahmen statt. Das Feedbackgespräch im Sinne des Dialogs wird von den beteiligten Dozierenden als wertvoll beurteilt, weil es eine gemeinsame Reflexion ermöglicht. Die Personen, mit denen Feedbackgespräche geführt wurden, zeigten sich denn auch offen und bereit, ihre Prüfungen kritisch zu überdenken und geeignete Anpassungen vorzunehmen. Sie beurteilen die Prüfungsevaluation als „eine gute Sache“, die zur Professionalisierung beitragen könne: „Die Idee der Prüfungsevaluation ist gut, das wäre eigentlich schon lange notwendig gewesen!“ Von der Begutachtung der Prüfung durch eine Person mit der „Expertenbrille“ erhoffen sie sich neue interessante Einblicke. Im Feedbackgespräch zeigte sich, dass die mittels Leitfragen gewonnene Einschätzung der internen Experten von den Prüfungsautoren mehrheitlich als zutreffend eingestuft wurde. Es besteht aber – v.a. bzgl. der Einschätzung der Validität der Prüfung – auch die Gefahr von Fehleinschätzungen aufgrund fehlendem Hintergrundwissens (didaktische Experten haben nicht am Unterricht teilgenommen) oder mangelnder fachlicher Expertise (didaktische Experten sind nicht für jede Prüfung gleichzeitig auch Fachexperten), weshalb sich ein vorsichtiges Feedback in Form des Stellens von Fragen sehr bewährt hat. Die Evaluation der Prüfungen vor der Durchführung wird ambivalent beurteilt. Einerseits schätzen es die Dozierenden, dass sie vor der Durchführung der Prüfung auf Verbesserungsmöglichkeiten hingewiesen werden, andererseits äusserten sie auch kritische Gedanken. Der geplante Prozess führt dazu, dass die Prüfungen beim Sekretariat früher als bisher eingereicht werden müssen. Dies empfinden einige Dozierende als Zusatzbelastung bei der sowieso schon als hoch empfundenen zeitlichen Belastung während des Semesters. Einige orten zudem Gefahren im Zusammenhang mit der (elektronischen) Übertragung der Prüfungen und befürchten mögliche Datenlecks.

5.3.2 Weiterentwicklung der Prüfungskompetenzen der Dozierenden

Die Qualität der bisher evaluierten Prüfungen befindet sich auf gutem Niveau. Es gibt in verschiedenster Hinsicht jedoch auch Handlungsbedarf. Die Schwierigkeiten der Dozierenden bei der Prüfungskonstruktion betreffen sowohl Aspekte der Validität als auch der Reliabilität. So entsprechen nicht alle Prüfungen bzgl. des Anspruchsniveaus den in den Modulbeschreibungen enthaltenen Anforderungen. Insbesondere anspruchsvolle Denkprozesse, wie argumentieren können, sich konstruktiv-kritisch mit Studieninhalten auseinandersetzen bzw. Studieninhalte reflektieren und hinterfragen können, werden mit den eingesetzten Bearbeitungsformen zu wenig überprüft. Unsicherheiten bestehen auch darin, wie gute Open-Book-Prüfungen oder Multiple-Choice-Aufgaben konzipiert werden sollen. Und schliesslich bestehen offene Fragen zur Gestaltung einer Lösungsskizze, die gleichzeitig eine möglichst objektive Bewertung ermöglicht, aber auch unterschiedliche studentische Antworten zulässt. Die Maßnahmen zur Weiterentwicklung der Prüfungskompetenzen der Dozierenden betreffen zwei Bereiche: Einerseits werden verschiedene Weiterbildungsveranstaltungen angeboten (z. B. schriftliche Prüfungen gestalten, Multiple-Choice-Aufgaben formulieren), andererseits werden die Dozierenden auf eigenen Wunsch bei der Wahl der Form des Leistungsnachweises und bei dessen konkreter Ausgestaltung didaktisch-methodisch beraten.

6. Allgemeine Schlussfolgerungen

In den vorangegangenen Ausführungen wurde das lehrbezogene, ganzheitliche Qualitätsmanagementkonzept des Fachbereichs Wirtschaft der FHS St.Gallen vorgestellt und reflektiert. Grundlage bildete ein lehrbezogenes Input-Prozess-Output-Modell. Nachfolgend werden über den Kontexte der FHS St.Gallen hinaus allgemeine Schlussfolgerungen für die Qualitätsevaluation und -entwicklung in der Hochschullehre abgeleitet:

• Lehrqualität ist nicht eindeutig und objektiv bestimmbar. Die Qualität der Lehre muss ganzheitlich, d. h. mehrdimensional und aus multiplen Perspektiven (Input-, Prozess- und Ergebnisperspektive) betrachtet werden.

• Ganzheitlichkeit bedeutet auch, dass die Evaluationsaktivitäten durch kohärente Entwicklungsmaßnahmen ergänzt werden. Dadurch kann die Akzeptanz und die Wirkung des Evaluationssystems deutlich erhöht werden (vgl. hierzu auch RINDERMANN 2001).

• Evaluationsverantwortliche, Lehrende und Lernende brauchen eine klare Vorstellung darüber, was gute Hochschullehre ist. Dies setzt auf der Ebene der Institution ein Identität stiftendes, handlungsleitendes Bildungs-, Lern- und Didaktikverständnis sowie darauf bezogene, transparente Qualitätskriterien und Standards für die Hochschullehre voraus.

• Zusätzlich zu den Eingangskompetenzen und dem Verhalten der Dozierenden sind angesichts der gestiegenen Verantwortung der Studierenden für die Qualität der Lehre auch die Studierkompetenzen (Sach-, Selbst- und Sozialkompetenzen) und das Verhalten der Studierenden im Lehr-Lern-Prozess systematisch in die Evaluations- und Qualitätsentwicklungsarbeit zu integrieren.

• Instrumente (z. B. Fragebogen) zur Evaluation des Dozierendenverhaltens durch Studierende sollten sich über gute psychometrische Eigenschaften (Validität, Reliabilität, Ökonomie) ausweisen. Es ist insbesondere darauf zu achten, dass die beurteilten Aspekte (z. B. Skalen und Items) von den Studierenden auch tatsächlich beurteilt werden können.

• Der Qualität von Prüfungen bzw. Leistungsnachweisen ist angesichts der starken lern- und verhaltenssteuernden Wirkung von Qualifikationsverfahren im Rahmen des lehrbezogenen Qualitätsmanagements angemessen Rechnung zu tragen. Bewährt haben sich vor allem formative, dialogorientierte Prüfungsevaluationen durch Experten/innen.

• Kollegiale Hospitationen dienen der Förderung einer Kultur der gegenseitigen Unterstützung und Kooperation in der Lehre. Sie geniessen bei „niederschwelligem“ Einsatz hohe Akzeptanz bei den Dozierenden. Zur Erhöhung der Wirksamkeit der kollegialen Hospitationen empfiehlt es sich, den Beteiligten Unterstützungsangebote bereitzustellen, z. B. ein schriftlich formuliertes Rahmenkonzept oder Beobachtungsbögen, die genügend Gestaltungsräume für die Definition der didaktisch-methodischen Beobachtungskriterien bieten.

• Mit dem Einbezug der relevanten Anspruchsgruppen, sowohl bei der Formulierung der normativ-konzeptionellen Grundlagen (Bildungs-, Lernverständnis, Didaktikverständnis) als auch bei der Entwicklung der Evaluationsinstrumente wird die notwendige Akzeptanz des Qualitätsmanagement-Systems gefördert.

• Wichtig für die Akzeptanz des Qualitätsmanagement-Systems ist zudem, dass die didaktischen Experten nicht gleichzeitig auch die Funktion von Evaluatoren wahrnehmen, bzw. dass sie das nur dann tun, wenn sie als „neutrale“ Beobachter bzw. Berater, also „auf Augenhöhe“ mit den Dozierenden agieren (Bsp. Prüfungsevaluation). Die Hauptaufgabe der didaktischen Experten im Rahmen des lehrbezogenen Qualitätsmanagements besteht in der Kompetenzentwicklung von Dozierenden und Studierenden und darin, die verschiedenen Evaluationsverfahren inhaltlich an den übergeordneten Qualitätskriterien und Standards für die Hochschullehre auszurichten und konzeptionell aufeinander abzustimmen („Helikoptersicht“).

Literatur

ABRAMI, P. C. (1989): SEEQing the truth about student ratings of instruction. Educational Researcher, 18 (1), 43-45.

AERA, APA, NCME (2002): Standards for educational and psychological testing. Washington, DC.

ANDERSON, L. W./ KRATHWOHL, D. R. (2001): A taxonomy for learning, teaching, and assessing. A revision of Bloom’s taxonomy of educational objectives. New York.

BACKHAUS, K./ ERICHSON, B./ PLINKE, W./ WEIBER, R. (2003): Multivariate Analysemethoden – Eine anwendungsorientierte Einführung. Berlin, Heidelberg, Neu York.

BAKER, E. L./ LINN, R. L./ HERMAN, J. L. (1996): CRESST: A continuing mission to improve educational assessment. Evaluation comment. Los Angeles : University of California, Center for Study of Evaluation & The National Center for Research on Evaluation, Standards, and Student Testing.

BÜHNER, M. (2006): Einführung in die Test- und Fragebogenkonstruktion. München.

CASHIN, W. E. (1995): Student ratings of teaching: the research revisited. Manhatten.

DUBS, R. (2004): Qualitätsmanagement für Schulen. Studien und Berichte des IWP (Bd. 13) St.Gallen.

DUBS, R. (2009): Lehrerverhalten. Zürich.

FELDMAN, K.A. (1989): Instructional effectiveness of college teachers as judged by teachers themselves, current and former students, colleagues, administrators, and external (neutral) observers. Research in Higher Education, 30 (2), 137-194.

FISSENI, H.-J. (1997): Lehrbuch der psychologischen Diagnostik. Göttingen.

HELMKE, A. (2009): Unterrichtsqualität und Lehrerprofessionalität – Diagnose, Evaluation und Verbesserung des Unterrichts. Seelze-Velber.

KLEINMANN, M. (1997): Assessment-Center: Stand der Forschung – Konsequenzen für die Praxis. Göttingen.

LIENERT G.A./ RAATZ, U. (1998): Testaufbau und Testanalyse. Weinheim.

LINN, R. L./ GRONLUND, N. E. (1995): Measurement and assessment in teaching (7th ed.). Englewood Cliffs.

MCKEACHIE, W. J. (1997): Student ratings. American Psychologist, 52 (11), 1218-1225.

MESSICK, S. (1989): Validity. In: LINN, R. E. (Ed.): Educational measurement. New York, 13-103.

METZGER, C./ NÜESCH, C. (2004): Fair prüfen. Ein Qualitätsleitfaden für Prüfende an Hochschulen. Hochschuldidaktische Schriften, Bd. 6. St.Gallen.

MEYER, H. (2004): Was ist guter Unterricht? Berlin.

POSCH, P./ ALTRICHTER, H. (1997): Evaluation und Entwicklung von Schulqualität – Dimensionen, Modelle und strategische Vorschläge. In: POSCH, P./ ALTRICHTER, H. (Hrsg.): Möglichkeiten und Grenzen der Qualitätsevaluation und Qualitätsentwicklung im Schulwesen. Innsbruck, 1-155.

RINDERMANN, H. (2001): Die studentische Beurteilung von Lehrveranstaltungen – Forschungsstand und Implikationen. In: SPIEL, C. (Hrsg.): Evaluation universitärer Lehre – zwischen Qualitätsmanagement und Selbstzweck. Münster, 61-88.

[1]   Zur Unterscheidung zwischen dem intern und extern konzipierten Qualitätsmanagement vgl. DUBS (2004, 8 f.).

[2]   Unter Denkprozessen verstehen wir – gemäß Taxonomie von Bloom – die Prozesse Erinnern, Verstehen, Anwenden, Analysieren, Evaluieren und Kreieren von Informationen (vgl. ANDERSON/ KRATHWOHL, 2001)

[3]   Vgl. Anhang zu den „Leitfragen zur Selbstreflexion schriftlicher Prüfungen“

bwp@ -Format: