Partner von bwp@:
Beitrag von Michaela HEINRICH (Universität Erlangen-Nürnberg)
Im Zuge der Bologna-Reform rückt die Qualität der Lehre stärker in den Fokus der Hochschul- und Fakultätsleitungen. Das Ziel der Beschäftigungsfähigkeit der Studierenden und damit einhergehend die zunehmende Kompetenzorientierung in der Lehre führen zu maßgeblichen Veränderungen im Alltag der Wissensvermittlung. Nicht mehr Dozierende, sondern Studierende stehen im Mittelpunkt der Lehre. Gleichzeitig erfordern Akkreditierungsverfahren die Einhaltung von Standards zur Sicherung der Lehrqualität. Die Lehrveranstaltungsevaluation ist dabei ein weit verbreitetes Verfahren, um die Qualität der Lehre zu überprüfen und langfristig zu verbessern. In der Art der Anwendung des Instruments unterscheiden sich die Hochschulen jedoch stark. Insbesondere der Grad der Einbindung der Lehrveranstaltungsevaluation in ein Konzept des Qualitätsmanagements und damit einhergehend der Umgang mit den Ergebnissen sind differierende Momente. Dabei entscheidet vor allem ein ganzheitliches Konzept zur Sicherung und Verbesserung der Lehrqualität über den Nutzen der Evaluation. Dieser Beitrag verdeutlicht die Möglichkeiten und Grenzen der Lehrveranstaltungsevaluation und zeigt dadurch Wege auf, das Instrument im Sinne des Qualitätsmanagements an Hochschulen anzuwenden.
Evaluation of teaching as an element of quality management of studying and teaching – making the most of possibilities, recognising limits
In the course of the Bologna reforms more and more attention is being given to the quality of teaching by the higher education institution and faculty leadership. The aim of the employability of the students, and the associated increasing competence orientation in teaching, lead to considerable changes in the daily routine of imparting knowledge. The lecturers are no longer the focus of teaching, but rather the students. At the same time the accreditation procedures demand the maintaining of standards for assuring teaching quality. Evaluation of teaching is a widely spread process in order to examine the quality of teaching and to improve it in the long-term. However, higher education institutions differ greatly in how they use this instrument. In particular, the degree to which the teaching evaluation is involved in a concept of quality management, and therefore how the results are used, are key differing elements. This is important because a uniform concept on the assurance and improvement of teaching quality is decisive for the usefulness of the evaluation. This article clarifies the possibilities and limits of teaching evaluation and shows ways in which the instrument can be used for quality management at higher education institutions.
Mit dem BMBF Wettbewerb „Qualitätspakt Lehre“ investiert der Deutsche Bund in den nächsten zehn Jahren bis zu zwei Milliarden Euro in die Lehre der Hochschulen. Das ist das größte Förderprojekt für die Lehre, das der Bund je durchgeführt hat (vgl. BMBF 2010). Diese Summe zeigt, dass auf politischer Ebene bereits ein Bewusstsein für die Bedeutung der Lehre vorhanden ist. Der internationale Wettbewerb um gut ausgebildete Absolventen, die Bestrebungen, den Akademikeranteil in der Bevölkerung zu erhöhen sowie in Folge dessen das Ziel, die Studienabbrecherquote zu senken, sind Gründe dafür, die Lehre an den Hochschulen zu stärken. Für die Hochschulen nimmt dadurch die Lehre auch im Wettbewerb mit anderen Hochschulen eine immer größere Rolle ein. Zudem sind es vor allem Akkreditierungsverfahren, die von den Hochschulen eigene Bestrebungen, ihre Lehrqualität zu verbessern, erwarten.
Mit dem steigenden Bewusstsein für die Lehre gewinnt auch die Lehr- und Lernforschung an den Hochschulen an Bedeutung. Universitäten verfügen alleine oder im Verbund mit anderen Universitäten verstärkt über Zentren der Hochschuldidaktik. Neben eigenen Forschungsaktivitäten bieten diese Einrichtungen insbesondere Inhouse-Schulungen für die in der Lehre tätigen Mitarbeiter/-innen an. Dozierende können dadurch ihre eigenen methodischen und didaktischen Fähigkeiten weiterentwickeln und sich über aktuelle Forschungsergebnisse in der Lehr- und Lernforschung informieren. Insbesondere das E-Learning erfährt bei den Hochschulen und den Dozierenden zunehmendes Interesse. Eine der bedeutendsten Veränderungen in der Lehre in den vergangen Jahren ist die Fokussierung auf die zu erwerbenden Kompetenzen innerhalb der Lehrveranstaltung. Jene Kompetenzen, über die die Studierenden am Ende der Veranstaltung verfügen sollen, werden als Learning Outcome bezeichnet. Die Bedeutung des Learning Outcome wird insbesondere in den European Standards und Guidelines for Quality Assurance in the European Higher Education Area (ESG), die im Zuge von Akkreditierungsverfahren zum Tragen kommen, betont (vgl. HRK 2006, 25). Dadurch vollzieht sich ein „shift from teaching to learning“. Nicht mehr die Dozierenden sondern die Studierenden und die zu erwerbenden Kompetenzen rücken in den Fokus der Lehre.
Die Hochschulen stehen vor der Herausforderung diese Veränderungen Schritt für Schritt einzuleiten und stetig zu begleiten. Dabei spielen im Rahmen von Akkreditierungsverfahren nicht nur die Lehrqualität sondern auch alle damit zusammenhängenden Prozesse eine bedeutende Rolle. So haben Hochschulen, die sich für den Weg der Systemakkreditierung entscheiden, nachzuweisen, dass sie über ein internes Qualitätssicherungssystem in Studium und Lehre verfügen. Dabei werden „die für Lehre und Studium relevanten Strukturen und Prozesse [.] darauf überprüft, ob sie das Erreichen der Qualifikationsziele und die hohe Qualität der Studiengänge gewährleisten, wobei die European Standards and Guidelines for Quality Assurance in Higher Education (ESG), die Vorgaben der Kultusministerkonferenz (KMK) und die Kriterien des Akkreditierungsrates Anwendung finden“ (AKKREDITIERUNGSRAT 2010, 22).
Eine gute Lehrveranstaltung alleine führt nicht automatisch zu Absolventen, die auf den Arbeitsmarkt oder für die Wissenschaft gut vorbereitet sind. Die inhaltliche Abstimmung der Module innerhalb eines Studienganges, die internationale und praktische Orientierung der Studieninhalte sowie ein adäquates Betreuungsangebot sind für die Ausbildung der Studierenden nicht weniger wichtig. Die Liste kann durch zahlreiche weitere Ziele ergänzt werden, verbindet doch jede Hochschule und jeder Studiengang mit einem „qualitativ hochwertigen Studium“ andere Messgrößen. Zentral ist, dass sich die Hochschulen über ihre Ziele im Rahmen von Studium und Lehre bewusst sind und sich dadurch gegenüber anderen Hochschulen profilieren. Ein umfassendes Qualitätsmanagementsystem bietet hierfür eine geeignete Hilfestellung, um die definierten Ziele zu erreichen und diese stetig weiter zu entwickeln.
Der hier vorliegende Beitrag richtet den Fokus auf die Sicherung und Verbesserung der Lehrveranstaltungsqualität. Die Lehrveranstaltungsevaluation ist dabei ein weit verbreitetes Instrument zur Messung der Lehrqualität. Bereits in den 60er Jahren wurden im Rahmen der deutschen Hochschulproteste und Reformbemühungen erste Fragebögen zur Evaluation von Lehrveranstaltungen entwickelt. In den 90er Jahren gewannen diese Fragebögen im Zuge der Hochschulrankings und der daraus folgenden Auseinandersetzung mit der Qualität der Ausbildung an deutschen Hochschulen an Bedeutung (vgl. SOUVIGNIER/ GOLD 2002, 266).
Der Einsatz der Lehrveranstaltungsevaluation wird im Zuge der Etablierung von Qualitätsmanagementsystemen zunehmend professionalisiert. Im Folgenden wird zunächst ein kurzer Exkurs zum Qualitätsmanagement gegeben, bevor im Anschluss die Lehrveranstaltungsevaluation in das System des Qualitätsmanagements eingebunden wird.
Nach WILBERS (2001, 34) umfasst Qualitätsmanagement „alle systematisch eingesetzten Verfahren, mit denen Qualität verbessert bzw. gesichert werden soll“. Demzufolge kann Qualitätsmanagement an Hochschulen als ein internes Steuerungssystem betrachtet werden, das strukturiert Prozesse lenkt, um festgesetzte Qualitätsziele zu erreichen (vgl. STOCKMANN 2006, 24; DAHLMANN et al. 2010, 20).
Am Beginn eines jeden Qualitätsmanagements steht die Systematisierung der eigenen Ziele. Diese werden an Hochschulen innerhalb des eigenen Leitbildes festgehalten, wodurch eine Profilbildung stattfindet. Forschung und Lehre, als die beiden Kernprozesse der Hochschulen, sind dabei zwei Hauptbereiche, in die die Ziele unterteilt werden können. Jedes Ziel für sich kann wiederum in einzelne Teilziele untergliedert werden. Diese Zieldefinition wird innerhalb des Qualitätsmanagements als „Qualitätsplanung“ (STOCKMANN 2006, 25) bezeichnet. Anschließend gilt es Maßnahmen zu definieren, um diese Ziele zu erreichen. STOCKMANN bezeichnet diese Phase als „Qualitätslenkung“ (STOCKMANN 2006, 25). Das Prozessmanagement kann ein wichtiger Bestandteil der Qualitätslenkung sein. Innerhalb dessen werden klare Verantwortlichkeiten definiert sowie die Arbeitsschritte, die bei der Durchführung einer bestimmten Maßnahme notwendig sind, detailliert festgehalten und für alle Beteiligten transparent gestaltet. Schnittstellenprobleme werden dadurch verringert und zeitliche, finanzielle sowie personelle Ressourcen geschont. Mit Hilfe von Qualitätsinstrumenten werden die Maßnahmen innerhalb der „Qualitätssicherung“ (STOCKMANN 2006, 25) auf ihre Zielerreichung überprüft. Zu den Qualitätssicherungsinstrumenten der Hochschulen gehören beispielsweise die Lehrveranstaltungsevaluation, die Absolventen- oder Studieneingangsbefragung sowie die Studienverlaufsanalyse. Von diesen internen Evaluationen, die von Mitgliedern der Hochschule geplant und durchgeführt werden, können externe Evaluationen unterschieden werden. Letztere werden von Nicht-Mitgliedern, bspw. von Akkreditierungsagenturen, durchgeführt. Die Ableitung weiterer Maßnahmen auf Grundlage der vorherigen Zielüberprüfung wird als „Qualitätsverbesserung“ (STOCKMANN 2006, 24) angesehen. Nach Umsetzung geeigneter Qualitätsverbesserungsmaßnahmen werden die vorhandenen Ziele angepasst bzw. erweitert. Qualitätsmanagement ist in diesem Verständnis ein Kreislauf, der stets von neuem beginnt. Dieser Kreislaufgedanke beruht auf Deming, der die Qualitätsverbesserung in vier Phasen unterteilt: Plan (Qualitätsplanung) –Do (Qualitätslenkung) –Check (Qualitätssicherung) –Act (Qualitätsverbesserung) (vgl. KAMISKE/ BRAUER 1999, 284). Der Kreislauf, der häufig auch als „PDCA-Kreislauf“ oder „PDCA-Zyklus“ bezeichnet wird, wird innerhalb des Qualitätsmanagements auf einzelne Teilziele übertragen. Das heißt, der PDCA-Zyklus umfasst nicht gleichzeitig alle Ziele einer Hochschule, sondern greift einzelne heraus und betrachtet diese im Speziellen.
Eines der bedeutendsten „Teilziele“ einer Hochschule ist wie eingangs erläutert eine gute Qualität der Lehre. Sie ist die wichtigste Säule in der Ausbildung von Studierenden. Von Seiten des deutschen Hochschulrahmengesetzes wird außerdem vorgegeben, die Lehrqualität regelmäßig zu überprüfen und die Studierenden in diese Überprüfung einzubeziehen (§6 des HRG; Fassung vom 19.01.1999). Im Rahmen von Akkreditierungsverfahren wird deshalb überprüft, ob auf Ebene der Studiengänge Lehrveranstaltungsevaluationen durchgeführt werden und wie mit deren Ergebnissen umgegangen wird. Folglich kontrollieren Akkreditierungsagenturen, inwieweit der PDCA-Zyklus im Rahmen der Lehrqualität tatsächlich Anwendung findet.
Die Einbindung der Sicherung und Verbesserung der Lehrqualität in den Qualitätskreislaufs kann durch nachstehende Abbildung verdeutlicht werden:
Abb. 1: Elemente des Qualitätsmanagements in Anlehnung an Stockmann (vgl. STOCKMANN 2006, 25)
Aus dieser Abbildung wird ersichtlich, dass innerhalb eines Qualitätskreislaufs, weitere Qualitätskreisläufe stattfinden können. Das Ziel, die Lehrveranstaltungsqualität zu sichern und zu verbessern, durchläuft den PDCA-Zyklus, indem die Veranstaltung geplant, umgesetzt, überprüft und weiterentwickelt wird. Innerhalb der Überprüfung findet wiederum in einem separaten PDCA-Kreislauf die Lehrveranstaltungsevaluation statt.
Das Qualitätsmanagement hat die Aufgabe, den Ablauf der parallel statt-findenden und zum Teil ineinandergreifenden Qualitätskreisläufe zu steuern, um dadurch die angestrebten Qualitätsziele innerhalb eines bestimmten Zeitfensters (Qualitätsplanung) zu erreichen. Die Festlegung klarer Verantwortlichkeiten, die wie unter Kapitel 2 beschrieben eine wichtige Aufgabe innerhalb der Qualitätslenkung darstellt, ist dabei zentral.
Innerhalb des PDCA-Zyklus der Lehrqualität sind für die Planung der Lehrveranstaltung (Qualitätsplanung) und die Umsetzung der Maßnahmen zur Erreichung der Lehr- und Lernziele (Qualitätslenkung) insbesondere die Dozierenden in Zusammenarbeit mit den Studierenden verantwortlich. Die Qualitätssicherung, das heißt die Überprüfung der Qualität der Lehrveranstaltungen durch die Lehrveranstaltungsevaluation, wird an Hochschulen vielfach von der Leitungsebene gesteuert. Dazu gehören beispielsweise Hochschul- und/oder Fakultätsleitungen, die häufig mit den zuständigen Studiendekanaten zusammenarbeiten oder hochschuleigene Einrichtungen der Qualitätssicherung mit der Evaluation der Lehrveranstaltungen betrauen. Nachdem die Ergebnisse der Lehrveranstaltungsevaluation vorliegen, übernehmen insbesondere die Dozierenden die Verantwortung für das Ableiten und Umsetzen von Verbesserungsmaßnahmen (Qualitätsverbesserung). Diese letzte Phase entscheidet im Sinne der Qualitätsentwicklung darüber, ob durch die Evaluation tatsächlich Veränderungen stattfinden oder ob die Evaluation lediglich zum „Selbstzweck“ (KROMREY 2006, 239) durchgeführt wird. Für ein funktionierendes Qualitätsmanagement ist es deshalb zentral, dass die Evaluierten die Ergebnisse nutzen, um ihre Veranstaltung weiterzuentwickeln. Dafür sind vor allem zwei Voraussetzungen notwendig:
Für die Verantwortlichen der Durchführung der Lehrveranstaltungsevaluation heißt dies, dass sie die zu Evaluierenden frühzeitig in die Planung der Evaluation einbeziehen und ihre Ziel- und Qualitätsvorstellungen in der Umsetzung des Fragebogens entsprechend berücksichtigen sollten. Dadurch gewinnen die Ergebnisse für die Dozierenden an wertvollem Informationsgehalt. Außerdem wird gewährleistet, dass die Evaluation nicht auf Grundlage von top-down gesteuerten Entscheidungen durchgeführt, sondern von den Dozierenden bottom-up mitgestaltet wird. Dies trägt zu einer Kultur bei, die das „Qualitätswollen und Qualitätsverstehen“ (KOHLER 2004, 64) ermöglicht und somit für ein erfolgreiches Qualitätsmanagement unverzichtbar ist. Diese Kultur kann dabei als sog. Qualitätskultur bezeichnet werden.
Im Folgenden wird nun die Ausgestaltung der beiden Prozessschritte der „Qualitätssicherung“ und „Qualitätsverbesserung“ näher erläutert.
Nach RINDERMANN (2003, 233) ist unter Evaluation „die systematische Analyse und empirische Untersuchung von Konzepten, Bedingungen, Prozessen und Wirkungen zielgerichteter Aktivitäten zum Zwecke ihrer Bewertung und Modifikation zu verstehen“. Evaluation hat folglich die Aufgabe der verlässlichen Analyse des Ist-Zustandes. In diesem Beitrag wird unter der Lehrveranstaltungsevaluation die studentische Bewertung der Lehrveranstaltungsqualität mit Hilfe eines schriftlich auszufüllenden, standardisierten Fragebogens verstanden. Dabei werden die Ergebnisse dieser Evaluation je nach Zielvorstellung unterschiedlich genutzt. SOUVIGNIER und GOLD unterscheiden innerhalb der Lehrveranstaltungsevaluation drei Hauptziele: Forschung, Rückmeldung und Steuerung (vgl. SOUVIGNIER/ GOLD 2002, 264-265). KROMREY (2001, 9) fügt der Steuerung zusätzlich die Funktion der Kontrolle hinzu. Innerhalb des Qualitätsmanagements spielt die Forschung zunächst eine untergeordnete Rolle, weshalb auf diese nicht näher eingegangen wird. Nachfolgend werden nun die beiden Ziele der Rückmeldung und der Steuerung im Sinne der Qualitätssicherung und Qualitätsverbesserung näher beleuchtet:
Die Rückmeldung der Ergebnisse an die Akteure, die direkt an der Planung und Durchführung der Lehrveranstaltung beteiligt sind, ist aus Sicht des Qualitätsmanagements zentral. Zu diesen Beteiligten gehören insbesondere Dozierende und Studierende. Sie sind letztlich maßgeblich für die Qualität der Veranstaltung verantwortlich. Die Kommunikation der Dozierenden und Studierenden über die Evaluationsergebnisse kann dazu beitragen, die Bedeutung der Lehre zu stärken (vgl. RINDERMANN 2009, 31). Dieser Austausch unterstützt weiterhin gemeinsam Verbesserungsmaßnahmen für die Gestaltung des Lehr- und Lernprozesses abzuleiten. Insbesondere die Dozierenden sollten die Ergebnisse aufgreifen, um die Lehrveranstaltung auch für folgende Semester weiterzuentwickeln.
Die Zielgruppe der Ergebnisse sind neben Dozierenden und Studierenden auch Studiengangskoordinatoren/-innen, Studiendekane/-innen, die Fachbereichs-/Fakultätsleitung sowie die Hochschulleitung. Im Sinne der Rückmeldungsfunktion nutzen diese Personengruppen die Lehrveranstaltungsevaluation innerhalb ihres Handlungsspielraums, um Verbesserungen für die Lehrqualität abzuleiten. Beispielsweise sind die zur Verfügung stehenden Räume, die technische Infrastruktur oder personelle Ressourcen von der Hochschul-/Fakultätsleitung je nach vorhandenen finanziellen Ressourcen steuerbar. Studiengangskoordinatoren/-innen haben außerdem die Möglichkeit, anhand der Evaluationsergebnisse Mängel in der curricularen Gestaltung des Studienganges zu erkennen und darauf aufbauend Veränderungen einzuleiten.
Nach dem Verständnis der Rückmeldefunktion übernehmen folglich die Ergebnisse der Lehrveranstaltungsevaluation die Aufgabe, Grundlage für das Ableiten von Verbesserungsmaßnahmen zu sein.
Im Rahmen der Steuerungsfunktion und der damit einhergehenden Kontrollfunktion der Lehrveranstaltungsevaluation, ist es ebenfalls Ziel Qualitätsverbesserungen in Gang zu setzen. Der Unterschied zur Rückmeldefunktion ist jedoch, dass die Akteure, die die Ergebnisse zur Steuerung des Qualitätsmanagements im Sinne der Qualitätsüberprüfung erhalten, nicht die Akteure der eigentlichen Qualitätsverbesserung sind. Sie können diese Qualitätsverbesserung lediglich unterstützen, indem sie eine funktionierende Qualitätskultur aufbauen oder Anreiz-/Sanktionsmechanismen (vgl. SOUVIGNIER/ GOLD 2002, 266) einsetzen. Es entsteht folglich eine Mischung zwischen einem bottom-up und top-down gesteuertem Qualitätsmanagementansatz.
Aus dieser Darstellung wird deutlich, dass die Lehrveranstaltungsevaluation im Rahmen des Qualitätsmanagements zwei Hauptaufgaben hat:
Das Instrument der Lehrveranstaltungsevaluation hat beiden Zielen gerecht zu werden. Um dies zu erreichen, ist es wichtig, ein gemeinsames Verständnis von „guter Lehre“ zu erarbeiten. Das nächste Kapitel nimmt eine begriffliche Annäherung zur „Lehrveranstaltungsqualität“ vor.
Als Grundlage für die Erarbeitung eines umfassenden Verständnisses für die Qualität von Lehre kann das Modell nach DONABEDIAN (2005, 693) herangezogen werden. Nach ihm wird die Qualität von Dienstleistungen oder Maßnahmen aus drei Perspektiven betrachtet: der Prozess-, Struktur- und Ergebnisqualität.
Die Prozessqualität bewertet die Abläufe, die zur Zielerreichung beitragen (vgl. DONABEDIAN 2005, 694). Übertragen auf Lehrveranstaltungen sind damit die Lehr- und Lernprozesse gemeint, die das Ziel haben, das angestrebte „Learning Outcome“ (Ergebnis) zu erreichen. Die Qualität des Unterrichts kann somit nur bestimmt werden, wenn auch die Prozessqualität betrachtet wird. Nach RINDERMANN (2009, 71) tragen insbesondere das Vorwissen der Studierenden, ihre Fähigkeiten, ihr Vorinteresse, ihr Fleiß sowie ihre Beteiligung am Unterricht zum Lernerfolg bei. Vorkenntnisse und Motivation der Studierenden sind folglich zentrale Bedingungen für einen erfolgreichen Lernprozess. Die Dozierenden auf der anderen Seite bestimmen durch ihre methodischen und didaktischen Fähigkeiten den Lehr- und somit auch den Lernprozess. RINDERMANN betont auf didaktischer Ebene insbesondere die Fähigkeit, den Stoff durch eine verständliche Struktur zu vermitteln: „Eine klare Struktur fördert den Verständnisprozeß, erleichtert die kognitive Strukturierung der zu lernenden Inhalte und deren späteren Abruf“ (RINDERMANN 2009, 55).
Neben der Prozessqualität wird das Erreichen des Learning Outcome von strukturellen Rahmenbedingungen beeinflusst, der sog. „Strukturqualität“. Die curriculare Abstimmung mit anderen Veranstaltungen, die Anzahl der Teilnehmer an der Veranstaltung, die Raumsituation sowie die technische Infrastruktur sind Beispiele für Items der Strukturqualität.
Die Ergebnisqualität, als dritte Dimension nach Donabedian, gibt Auskunft darüber, in wie weit das angestrebte Lehr- und Lernziel aus Sicht der Studierenden tatsächlich erreicht wurde. Sie ist zwar zur Überprüfung der Lehrqualität eine wichtige Zielgröße, kann jedoch keinen Aufschluss darüber geben, warum die Ziele erreicht oder nicht erreicht wurden (vgl. DONABEDIAN 2005, 694).
Zusammenfassend betrachtet bezieht sich eine gute Lehre auf das Zusammenspiel der Lehr- und Lernprozesse, das unter den gegebenen strukturellen Voraussetzungen zu einem bestmöglichen Erreichen des Lernzieles führt. Das heißt, keine Komponente für sich genommen entscheidet über eine gute oder schlechte Lehre. Somit kann Lehrqualität als ein mehrdimensionales Konstrukt bezeichnet werden. SOUVIGNIER und GOLD (2002, 268) verdeutlichen dies durch nachstehendes Zitat: "Auf der Seite der Bedingungsvariablen guter universitärer Lehre kommt zum Ausdruck, dass die von einem Dozenten verantwortete Veranstaltungsqualität erst im Zusammenspiel mit den individuellen Lernvoraussetzungen der Studierenden, der Intensität der Nutzung des Lernangebots und den Rahmenbedingungen einer Lehrveranstaltung zum individuellen Lernerfolg führen kann".
Das Zusammenspiel von Prozess-, Struktur- und Ergebnisqualität lässt sich grafisch wie folgt darstellen:
Abb. 2: Zusammenwirken der Prozess-, Struktur- und Ergebnisqualität nach DONABEDIAN (2005)
Wie in Kapitel 4.1 erläutert, können die Evaluationsergebnisse entweder eine Hilfestellung für das Ableiten von Verbesserungsmaßnahmen sein oder als Kontrolle zur Erreichung von Qualitätsstandards dienen. Für die reine Qualitätsüberprüfung wäre die Messung der Ergebnisqualität ausreichend. Sollen jedoch Evaluationsergebnisse einen Aufschluss darüber geben, warum bestimmte Ziele nicht erreicht werden konnten, um darauf aufbauend gezielt Maßnahmen ableiten zu können, ist im Fragebogen die Erfassung aller drei Qualitätsdimensionen notwendig.
Ein Beispiel für einen wissenschaftlich fundierten Ansatz zur mehrdimensionalen Evaluation von Lehrveranstaltungen, mit einem Fokus auf der Evaluation des Lehr- und Lernprozesses, stellt das Instrument von RINDERMANN, „Heidelberger Inventar zur Lehrveranstaltungsevaluation“ (HILVE-II), dar. Für ihn ist der Lehrerfolg abhängig von dem Zusammenspiel der didaktischen Fähigkeiten der Dozierenden, dem Verhalten und den Vorkenntnissen der Studierenden sowie den Rahmenbedingungen (vgl. RINDERMANN 2009, 66). Beispiele für Items, die für die Messung der Prozess- und Strukturqualität von Bedeutung sind, wurden unter Kapitel 4.2 vorgestellt. Sie können je nach Art der Veranstaltung (Vorlesung, Übung, Seminar etc.) und je nach den an der Hochschule relevanten Rahmenbedingungen verändert werden.
Die Items zur Abfrage der Ergebnisqualität spielten bis zur Bologna-Reform innerhalb der Lehrveranstaltungsevaluation eine eher untergeordnete Rolle, rücken jedoch aufgrund der stärkeren Bedeutung des „Learning Outcome“ zunehmend in den Vordergrund. Studiengänge haben im Zuge von Akkreditierungsverfahren die Vermittlung der im Qualifikationsrahmen für Deutsche Hochschulabschlüsse festgelegten Kompetenzen auf Bachelor- und Masterebene nachzuweisen. Dies geschieht derzeit vor allem mit Hilfe von Modulhandbüchern. Ziel ist jedoch, den Kompetenzerwerb durch kompetenzorientierte Prüfungen zu kontrollieren. Derzeit steht die Umsetzung dieser Prüfungsformen noch in ihren Anfängen. Bezogen auf die Lehrveranstaltungsevaluation können kompetenzorientierte Fragebögen, neben kompetenzorientierten Prüfungen, ein Instrument darstellen, die erworbenen Kompetenzen der Studierenden zu messen. Dabei ist Kompetenz nicht gleichzusetzen mit „Wissen“. So bietet HILVE-II zwar ein Instrument, das die Lernergebnisse auf der Wissensebene abdeckt, weitergehende Kompetenzen bislang jedoch noch nicht berücksichtigt. Zur Messung der Ergebnisqualität greift RINDERMANN insbesondere auf folgende Fragen zurück: „Ich lerne viel in der Veranstaltung. […]
Kompetenz geht jedoch über diese Ebene des Wissens hinaus.
Nach WEINERT (2002, 27) kann Kompetenz definiert werden als „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“. WILDT verdeutlicht die Unterscheidung zwischen Wissen und Kompetenz in einem Stufenmodell:
Abb. 3: „Stufen zur professionellen Kompetenz“ (WILDT 2011)
Im Qualifikationsrahmen für Deutsche Hochschulabschlüsse vom 22.04.2005 wird Kompetenz weiter differenziert in Fach- und Methodenkompetenz. Die Fachkompetenz bezieht sich demnach auf die Ebene des Wissens und des Verstehens, während die Methodenkompetenz eine Stufe weitergeht und die Anwendung des Wissens (Können) einbezieht. Der Qualifikationsrahmen unterscheidet außerdem die Kommunikations- und Sozialkompetenzen (vgl. KMK 2005, 5).
Die bislang bekanntesten Fragebögen zur kompetenzorientierten Lehrveranstaltungsevaluation sind das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp), das von BRAUN entwickelt wurde, sowie das Grazer Evaluationsmodell des Kompetenzerwerbs (GEKo) von PAECHTER (vgl. BRAUN 2008 und PAECHTER et al. 2007). Beide legen den Fokus deutlich auf die Ergebnisqualität. Das Berliner Evaluationsinstrument für selbsteingeschätzte Kompetenzen (im Folgenden BEvaKomp genannt) greift in seinem Fragebogen sechs Kompetenzkategorien auf:
Die drei letztgenannten Kompetenzen können auch unter der „Sozialkompetenz“ zusammengefasst werden. Diese Kompetenzkategorien werden im Grazer Evaluationsmodell je nach Veranstaltungstyp um die Medienkompetenz ergänzt (vgl. PAECHTER et al. 2007).
Sowohl im BEvaKomp als auch im GEKo werden die Items zur Fach- und Methodenkompetenz in jeder Veranstaltung abgefragt. Dem liegt die Annahme zugrunde, dass Fach- und Methodenkompetenzen in allen Veranstaltungen vermittelt werden können, während insbesondere die Möglichkeiten zur Erweiterung der Sozialkompetenz vom Grad der Interaktion der Kursbeteiligten abhängig sind (vgl. PAECHTER et al. 2007, 87). Diese Interaktion ist beispielsweise in Seminaren oder Übungen deutlich stärker gegeben als es in der Regel in Vorlesungen der Fall ist.
BEvaKomp und GEKo greifen zudem jeweils Items zum Lehr- und Lernprozess auf. Dazu gehören unter anderem Fragen zu den didaktischen Fähigkeiten der Dozierenden. GEKo geht einen Schritt weiter und berücksichtigt außerdem Items zu Rahmenbedingungen, die Einfluss auf die Prozess- und damit auf die Ergebnisqualität haben können. Dazu gehören beispielsweise Fragen zur Teilnehmerzahl, zur Einbindung der Veranstaltung ins Curriculum (Pflichtveranstaltung vs. Wahlveranstaltung) oder räumliche Bedingungen (vgl. PAECHTER et al. 2007, 91). Bei der Interpretation der Ergebnisse zu kompetenzorientierten Items ist in beiden Fragebogeninstrumenten zu beachten, dass die Studierenden ihren individuellen Kompetenzzuwachs selbst einschätzen und bewerten. Diese Bewertung wird je nach subjektivem Anspruchsniveau unterschiedlich ausfallen. Kompetenzorientierte Evaluationsinstrumente können deshalb als eine Ergänzung zu anderen Instrumenten der Kompetenzüberprüfung herangezogen werden, bspw. kompetenzorientierte Prüfungen. Sie können diese jedoch nicht ersetzen.
Unter Kapitel 4 wurde bislang gezeigt, welche Vorüberlegungen bei der Planung der Lehrveranstaltungsevaluation zu treffen sind. So sollten vor der Erstellung des Fragebogens die Ziele der Evaluation definiert sowie die zu überprüfenden Qualitätskriterien festgelegt werden. Bei der Festlegung der Qualitätskriterien bietet das Modell nach DONABEDIAN eine Hilfestellung, in dem es Qualität als ein mehrdimensionales Konstrukt versteht. Unabhängig davon welche Qualitätskriterien überprüft werden, gilt es bei der Fragebogenerstellung gewisse Richtlinien zu beachten. Die DEUTSCHE GESELLSCHAFT FÜR EVALUATION hat dafür sogenannte Standards für Evaluationen aufgestellt. Sie unterscheidet „Nützlichkeit – Durchführbarkeit – Fairness – Genauigkeit“ (DeGEval, DEUTSCHE GESELLSCHAFT FÜR EVALUATION e.V. 2011). „Nützlichkeit“ bezieht sich auf die Orientierung der Datenerhebung an den zuvor definierten Zielen. Die „Durchführbarkeit“ soll gewährleisten, dass die Lehrveranstaltungsevaluation derart konzipiert wird, dass sie praktisch umsetzbar ist. „Fairness“ soll sicherstellen, dass alle am Evaluationsprozess beteiligten Personen fair behandelt werden. Dies schließt beispielsweise eine objektive Ergebnisdarstellung ein. „Genauigkeit“ bezieht sich unter anderem auf sozialwissenschaftliche Gütekriterien wie Reliabilität und Validität (vgl. DeGEval, DEUTSCHE GESELLSCHAFT FÜR EVALUATION e.V. 2011). „Unter Reliabilität versteht man dabei das Ausmaß, in dem die Anwendung eines Erhebungsinstrumentes bei wiederholten Datenerhebungen unter gleichen Bedingungen und bei denselben Probanden das gleiche Ergebnis erzielt. Die Validitätsprüfung gibt an, inwieweit die Anwendung eines Erhebungsinstrumentes tatsächlich die Variable misst, die es zu messen vorgibt“ (ATTESLANDER 2003, 330). Die Validität der Lehrveranstaltungsevaluation kann durch unterschiedliche Variablen verzerrt werden. SPIEL (2011, 71ff.) konnte beispielsweise nachweisen, dass das studentische Interesse am Thema der Veranstaltung einen hohen Einfluss auf die Bewertung des Kurses hat. Auch Arbeitsaufwand, Raumverhältnisse oder die Größe des Studienganges können Einflussfaktoren sein, spielten jedoch nach SPIELs Untersuchung eine deutlich geringere Rolle als das Interesse. Die Erhebung dieser verzerrenden Variablen, bietet insbesondere für die Interpretation der Ergebnisse eine Hilfestellung. Daraus wird deutlich, dass bereits bei der Erstellung des Fragebogens der Schritt der Ergebnisinterpretation mitgedacht werden sollte. Letztlich entscheidet die Qualität des Fragebogens in erheblichem Maße über die Qualität der Daten und hat somit einen entscheidenden Einfluss auf die letzte Phase des Qualitätskreislaufs, dem Follow-Up.
Für die Schließung des Qualitätsregelkreises ist ein funktionierendes Follow-Up zentral. Wie unter Kapitel 3 erläutert, ist dafür die Motivation der Dozierenden, aus den Evaluationsergebnissen Verbesserungsmaßnahmen ableiten zu „wollen“, eine wichtige Voraussetzung. Dieses Engagement kann von Seiten der Hochschule durch gezielte Maßnahmen gestärkt werden:
Nach FEINSTEIN (2002, 435) entscheiden die Relevanz der Ergebnisse sowie die Art und Weise der Ergebnisaufbereitung über den Nutzen der Evaluation: „if there is no relevance or no dissemination, there is no use“. Das Follow-Up der Lehrveranstaltungsevaluation hängt somit in erheblichem Maße von ihrer Planungs- und Durchführungsqualität ab (siehe dazu auch Kapitel 3). Es kann angenommen werden, dass je vertrauenswürdiger das Instrument ist und je nützlicher die gewonnen Ergebnisse sind, desto höher ist die Wahrscheinlichkeit, dass die Dozierenden sich mit den Ergebnissen auseinandersetzen. Dennoch ist eine hohe Ergebnisqualität keine Garantie dafür, dass Qualitätsverbesserungsmaßnahmen abgeleitet und umgesetzt werden. Dafür sind weitere Bedingungsfaktoren notwendig. JANSON (2011) nennt in diesem Zusammenhang die vorhandenen finanziellen und zeitlichen Ressourcen, die an Hochschulen äußerst knapp vorhanden sind und somit die erfolgreiche Durchführung des Follow-Up beinträchtigen können. Hochschulen stehen deshalb vor der Aufgabe den Dozierenden Anreize zu geben, trotz ihrer zeitlichen und finanziellen knappen Ressourcen Verbesserungsmaßnahmen abzuleiten und umzusetzen.
Beliebte Anreizinstrumente an Hochschulen sind beispielsweise Lehrpreise, Zielvereinbarungen und die leistungsorientierte Mittelvergabe. Lehrpreise zeichnen jene Dozierende aus, die innerhalb der Lehrveranstaltungsevaluation die besten Ergebnisse erzielen. Sie sind somit eine Würdigung für gute Leistungen. Inwieweit Lehrpreise jedoch einen Anreiz für alle Dozierenden darstellt, bleibt fraglich. Es kann vielmehr angenommen werden, dass jene, die bereits gut sind, sich weiterhin um gute Leistungen bemühen, während die weniger gut evaluierten Dozierenden sich dadurch auch weniger stark motivieren lassen. Zielvereinbarungen und die leistungsorientierte Mittelvergabe gehen deshalb einen Schritt weiter: Nach WOTTAWA sind Zielvereinbarungen eine Möglichkeit der „Outputkontrolle“ (WOTTAWA 2001, 157). Die Ziele orientieren sich dabei an messbaren Größen, die sich von vordefinierten Qualitätsstandards dadurch unterscheiden, dass sie gemeinsam mit den Dozierenden entwickelt wurden. Je nach Ausgestaltung der Zielvereinbarungen können sie auf die Dozierenden vertrauensfördernd bis vertrauenshemmend wirken. Vertrauensfördernd sind sie dann, wenn den Dozierenden bei der Ausgestaltung der Ziele größtmögliches Entscheidungsrecht gewährt wird und die Dozierenden in der Zielerreichung von der Fakultäts- und Hochschulleitung unterstützt werden, z.B. durch hochschuldidaktische Fortbildungskurse oder finanzielle Mittel. In diesem Falle wirken Zielvereinbarungen als ein Commitment zwischen Dozierenden und der Fakultäts- und/oder Hochschulleitung bis zu einem bestimmten Zeitpunkt gemeinsam festgelegte Ziele zu erreichen. Werden jedoch Zielvereinbarungen als eine andere Form der Qualitätskontrolle eingesetzt und ggf. mit einer leistungsorientierten Mittelvergabe kombiniert, können sie im Falle von Mittelkürzungen, das Vertrauen in die Leitungsebene eher behindern. So besteht die Gefahr, dass durch eine leistungsorientierte Mittelvergabe nur die Dozierenden gefördert werden, deren Lehre bereits gut evaluiert wird. Dozierende, die jedoch die Mittel benötigen um die Lehrqualität zu verbessern, werden bei dieser Art von Mittelvergabe nicht unterstützt, sondern vielmehr behindert (vgl. BÜLOW-SCHRAMM 2003, 20). Insbesondere Sanktionen, im Sinne von Mittelkürzungen, sollten deshalb im Zuge der Lehrveranstaltungsevaluation mit Vorsicht eingesetzt werden.
Eine andere Form der Unterstützung des Follow-Up sind hochschuldidaktische Weiterbildungen. DRESEL, RINDERMANN und TINSNER wiesen nach, dass durch die Beratung von Dozierenden „nachhaltige Verbesserungen der Lehrqualität erzielt werden können“ (DRESEL et al. 2007, 193). Die Evaluationsergebnisse können dabei als Grundlage für konkrete Fragestellungen dienen und dadurch gewinnbringend eingesetzt werden. Wie in Kapitel 1 erläutert, verfügen Hochschulen zunehmend über eigene hochschuldidaktische Einrichtungen. Weiterbildungsangebote können dadurch kostengünstig, aber dennoch fachkundig angeboten werden.
Die hohe Bedeutung der Lehre in Zeiten eines verstärkten Wettbewerbs um gut ausgebildete Absolventen ist unumstritten. Ihre Qualität zu sichern und zu verbessern sind die Hauptanliegen eines hochschulinternen Qualitätsmanagementsystems von Studium und Lehre. Die Verbesserung der Lehre ist im Sinne des Qualitätsmanagements ein Prozess, der aus der der Qualitätsplanung, -lenkung, -sicherung und -verbesserung besteht. Die Lehrveranstaltungsevaluation ist in diesem Verständnis unter der Phase der Qualitätssicherung anzusiedeln. Ihre Aufgabe ist es, die Qualität der Lehre zu überprüfen und dadurch eine wichtige Grundlage für das Ableiten konkreter Verbesserungsmaßnahmen zu bieten. Der vorliegende Beitrag zeigte auf, welche Schritte bei der Planung einer Lehrveranstaltungsevaluation zu beachten sind, um für die Phase der Qualitätsverbesserung aussagekräftige Ergebnisse zu erhalten. Dabei wurde deutlich, dass eine Lehrveranstaltungsevaluation nur dann zu einem erfolgreichen Qualitätsmanagement beitragen kann, wenn das Evaluationsinstrument das Vertrauen der Dozierenden gewinnen konnte und die Dozierenden ein eigenes Interesse daran haben, die Qualität der Lehre weiterzuentwickeln. Wie an anderen Stellen bereits vielfach diskutiert, weist dies erneut darauf hin, dass ein funktionierendes Qualitätsmanagement ohne eine etablierte Qualitätskultur kaum umsetzbar ist. Jegliche Bemühungen, die Qualität der Lehre zu verbessern, sollten deshalb an den Dozierenden ansetzen und gewährleisten, dass ihre Meinungen in für die Lehre relevanten Entscheidungen maßgeblich berücksichtigt werden.
AKKREDITIERUNGSRAT (2010): Regeln für die Akkreditierung von Studiengängen und für die Systemakkreditierung. Online: http://www.akkreditierungsrat.de/fileadmin/Seiteninhalte/Beschluesse_AR/Beschluss_Regeln_Studiengaenge_Systemakkreditierung_10122010.pdf (05-08-2011).
ATTESLANDER, P. (2003): Methoden der empirischen Sozialforschung. 10. Aufl., Berlin.
BMBF (BUNDESMINISTERIUM FÜR BILDUNG UND FORSCHUNG) (2010): Zwei Milliarden Euro für den Qualitätspakt Lehre. Pressemitteilung 205/2010. Online: http://www.bmbf.de/press/2998.php (04-08-2011).
BRAUN, E. (2008): Das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp). Göttingen.
BÜLOW-SCHRAMM, M. (2003): Evaluation auf dem Weg zum Qualitätsmanagement. In: HOCHSCHULREKTORENKONFERENZ (Hrsg.): Evaluation und ihre Konsequenzen. 3. Berliner Fachtagung. Technische Hochschule Berlin, 21./22. Februar 2002. Bonn, 13-34.
DAHLMANN, O./ FELLER, C./ JANSSEN, J. (2010): Wie greifen Hochschulstrategien und Qualitätsmanagement ineinander? In: WINDE, M. (Hrsg.): Von der Qualitätsmessung zum Qualitätsmanagement. Praxisbeispiele an Hochschulen. Stifterverband für die Deutsche Wissenschaft. Heinz Nixdorf Stiftung. Bonn, 18-25.
DeGEval, DEUTSCHE GESELLSCHAFT FÜR EVALUATION (2011): Standards für Evaluation. Online: http://www.degeval.de/degeval-standards/standards (01-10-2011).
DONABEDIAN, A. (2005): Evaluating the Quality of Medical Care. The Milbank Quarterly, Vol. 83, No. 4, 691-729.
DRESEL, M./ RINDERMANN, H./ TINSNER, K. (2007): Beratung von Lehrenden auf der Grundlage studentischer Veranstaltungsbeurteilungen. In: KLUGE, A./ SCHÜLER, K. (Hrsg.): Qualitätssicherung und -entwicklung an Hochschulen: Methoden und Ergebnisse. Lengerich , Berlin, Bremen, Miami, Riga, Viernheim, Wien, Zagreb, 193-204.
FEINSTEIN, O. (2002): Use of Evaluations and the Evaluation of their Use. In: Evaluation, Vol. 8, No. 4, 433-439.
HRK (HOCHSCHULREKTORENKONFERENZ) (2006): Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum. Beiträge zur Hochschulpolitik 9/2006. Bonn.
JANSON, K. (2011): Die Bedeutung von Absolventenstudien für die institutionelle Entwicklung von Hochschulen. Eine empirische Betrachtung des Instruments der Absolventenbefragung für die organisatorische Hochschule. Vortrag auf der 6. Jahrestagung der Gesellschaft für Hochschulforschung, Wettbewerb und Hochschulen. 12-13. Mai 2011. Wittenberg.
KAMISKE, G. F./ BRAUER, J.-P. (1999): Qualitätsmanagement von A bis Z. Erläuterungen moderner Begriffe des Qualitätsmanagements. 3. Aufl., München, Wien.
KMK (KULTUSMINISTERKONFERENZ) (2005): Qualifikationsrahmen für deutsche Hochschulabschlüsse. Bonn.
KOHLER, J. (2004): Quality Culture als Leitungsaufgabe. In: HOCHSCHULREKTORENKONFERENZ (Hrsg.): Evaluation – ein Bestandteil des Qualitätsmanagements an Hochschulen. Beiträge zur Hochschulpolitik 9/2004. Bonn, 57-77.
KROMREY, H. (2006): Qualität und Evaluation im System Hochschule. In: STOCKMANN, R. (Hrsg.): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 3. Aufl., Münster , New York, München, Wien, 234-259.
KROMREY, H. (2001): Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis, 24. Jg., H. 2. Online: http://www.bibb.de/dokumente/pdf/a11_vielschichtiges_konzept.pdf (06-08-2011).
PAECHTER, M./ MAIER, B./ DORFER, A. u. a.(2007): Kompetenzen als Qualitätskriterien für universitäre Lehre: Das Grazer Evaluationsmodell des Kompetenzerwerbs (GEKo). In: KLUGE, A./ SCHÜLER, K. (Hrsg.): Qualitätssicherung und -entwicklung an Hochschulen: Methoden und Ergebnisse. Lengerich, Berlin, Bremen, Miami, Riga, Viernheim, Wien, Zagreb, 83-93.
RINDERMANN, H. (2003): Lehrevaluation an Hochschulen: Schlussfolgerungen aus Forschung und Anwendung für Hochschulunterricht und seine Evaluation. In: Zeitschrift für Evaluation, H. 2, 233-256.
RINDERMANN, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts. 2. Aufl., Landau.
SOUVIGNIER, E./ GOLD, A. (2002): Fragebögen zur Lehrevaluation: Was können sie leisten? In: Zeitschrift für Evaluation, H. 2, 265-280.
SPIEL, C. (2001): Der differentielle Einfluß von Biasvariablen auf studentische Lehrveranstaltungsbewertungen. In: ENGEL, U. (Hrsg.): Hochschul-Ranking. Zur Qualitätsbewerbung von Studium und Lehre. Frankfurt/M., New York, 61-82.
STOCKMANN, R. (2006): Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Münster, New York, München, Berlin.
VERVECKEN, D./ ULRICH, I./ BRAUN, E./ HANNOVER, B. (2010): Lehre und Studium professionell evaluieren: Kompetenzorientierte Lehrevaluation mit BEvaKomp. In: POHLENZ, P./ OPPERMANN, A. (Hrsg.): Lehre und Studium professionell evaluieren: Wie viel Wissenschaft braucht die Evaluation? Qualität – Evaluation – Akkreditierung. Praxishinweise zu Verfahren und Methoden. Reihe 6. Bielefeld, 153-165.
WEINERT, F. E. (2002): Leistungsmessungen in Schulen. 2. Aufl., Weinheim.
WILBERS, K. (2001): E-Learning didaktisch gestalten. In: HOHENSTEIN, A./ WILBERS, K. (Hrsg.): Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis, 33. Ergänzungslieferung Juli 2010, Köln.
WILDT, J. (2011): Kompetenzorientiert prüfen. Vortrag auf der Tagung: Lehre im Fokus. 22. Juli 2011, Erlangen. Online: http://www.fbzhl.de/fileadmin/FBZHL-Upload/Dateien/Wildt_Erlangen_22.07.2011.pdf (28-09-2011).
WOTTAWA, H. (2001): Qualitätsmanagement durch Zielvereinbarung. In: SPIEL, C. (Hrsg.): Evaluation universitärer Lehre – zwischen Qualitätsmanagement und Selbstzweck. Münster, New York, München, Berlin, 151-164.
HEINRICH, M. (2011): Lehrveranstaltungsevaluation als Bestandteil des Qualitätsmanage-ments von Studium und Lehre – Möglichkeiten nutzen, Grenzen erkennen. In: bwp@ Berufs- und Wirtschaftspädagogik – online, Ausgabe 21, 1-16. Online: http://www.bwpat.de/ausgabe21/heinrich_bwpat21.pdf (20-12-2011).
bwp@-Format:
