| ||
|
| ||
Die Evaluation von Lernerfolg bezieht sich auf die Messung und Bewertung des von Lernenden in E-Learning-Szenarien – wie auch in anderen Lernarrangements – erreichten Lernerfolgs mit dem Ziel, die zukünftige Handlungsfähigkeit der Lernenden in Anwendungssituationen – außerhalb der Lernszenarien – zu prognostizieren, Defizite festzustellen und Hinweise für die pädagogische Verbesserung der interaktiven Medien und E-Learning-Arrangements zu gewinnen, damit die Lernenden zukünftig bessere Lernerfolge erzielen können. Die Evaluation von Lernerfolg erfordert zunächst die Bestimmung des Referenzpunktes für die Messung und Bewertung eines Lernerfolgs, der – weil Lernerfolge keinen Selbstzweck haben – in Anwendungssituationen des mit den Medien in den virtuellen Lernräumen Gelernten liegt. Sodann erfordert die Evaluation von Lernerfolg die Bestimmung des Gegenstandes der Evaluation, damit die Fragestellungen, Verfahren und Instrumente zur Datenerhebung sowie zur Auswertung und Bewertung der erhobenen Daten konzeptualisiert werden können. Dazu ist zunächst die Frage zu beantworten, was ein Lernerfolg in Inhalten, Dimensionen und Niveaus ist bzw. als ein solcher bestimmt werden soll. Anschließend ist in mehreren Schritten zu klären, wer durch seine Lernhandlungen mit den Medien in den konzipierten Szenarien einen intendierten Lernerfolg erreichen soll, wie ein Lernerfolg messbar ist und gemessen werden soll, wie ein Lernerfolg bewertbar ist und bewertet werden soll, wer einen Lernerfolg prüfen kann und soll und schließlich, wie zukünftig bessere Lernerfolge durch Verbesserungen der interaktiven Medien, der virtuellen Lernräume und Lernszenarien, der virtuellen Kommunikation und tutoriellen Unterstützung erzielt werden können. Die Klärung dieser Fragen vor einer geplanten Evaluation ist notwendig, um die Evaluation von Lernerfolg in E-Learning-Szenarien entsprechend den jeweiligen Inhalten, Ansprüchen und Bedingungen angemessen zu konzeptualisieren.
Diese skizzierte Problematik der Evaluation von Lernerfolg in E-Learning-Szenarien macht deutlich, dass Evaluationsverfahren und -instrumente immer dem jeweiligen konkreten Evaluationsgegenstand angemessen und den jeweiligen Evaluationszielen entsprechend zu konzeptualisieren sind. Hier kann daher keine Zusammenstellung möglicher Evaluationsverfahren und -instrumente in E-Learning-Szenarien geliefert werden (siehe dazu SCHENKEL/ HOLZ 1995; einen kritischen Überblick über Evaluationsverfahren geben SCHENKEL/ TERGAN/ LOTTMANN 2000; zu Qualitätsmanagement und Evaluation siehe ARNOLD/ KILIAN/ THILLOSEN/ ZIMMER 2004, 173ff.). Im Folgenden sollen vielmehr die Grundlagen geklärt werden, wie angemessene Verfahren und Instrumente zur Evaluation von Lernerfolg in E-Learning-Szenarien für eine geplante Evaluation konzeptualisiert werden können und welche grundlegenden Sachverhalte, Verhältnisse und Bedingungen dabei zu beachten und vorgängig zu klären sind.
Lernen hat keinen Selbstzweck, sondern dient der Überwindung von Diskrepanzen in den Handlungen und mithin Kompetenzen von Subjekten in der Bewältigung der jeweiligen Arbeits- und Lebenssituation (HOLZKAMP 1993, 211ff.). Diskrepanzen in ihren Kompetenzen können Subjekte zum einen in ihrem aktuellen Handeln praktisch erfahren, reflektieren und beispielsweise durch handlungsbegleitende Lernprozesse in E-Learning-Szenarien auszugleichen versuchen. Zum anderen können sie zwischen angestrebten zukünftigen allgemeinen und/oder beruflichen Handlungsfähigkeiten und ihren vorhandenen gegenwärtigen Handlungskompetenzen Diskrepanzen erkennen, die sie durch pädagogisch organisierte sowie inhaltlich und personell unterstützte Lernprozesse in virtuellen Lernräumen mit ihrem Engagement überwinden können. Der danach erreichte Zuwachs subjektiver Handlungskompetenzen stellt einen Lernerfolg dar. Lernerfolg ist somit ein gewonnenes subjektives Handlungspotenzial, dessen Fundament die erworbenen Handlungskompetenzen sind. Ob sie erfolgreich erworben wurden, zeigt sich allerdings erst in Anwendungssituationen , in dem die Kompetenzen den situationsspezifischen Anforderungen entsprechend angepasst oder auch innovativ erweitert und so in den Anwendungssituationen rekonstruiert werden.
Ob ein für eine Anwendungssituation erforderliches subjektives Handlungspotenzial erworben wurde, also ein angestrebter Lernerfolg erreicht wurde, ist daher noch nicht am Ende eines E-Learning-Prozesses vollständig erkennbar. Denn Lernerfolg liegt noch nicht dann vor, wenn der Prozess der lernenden Informationsverarbeitung möglichst reibungslos erfolgte und neues Wissen erworben und angebotene Lernaufgaben erfolgreich gelöst wurden, sondern erst, wenn die Aufgaben im Anwendungsfeld – außerhalb der E-Learning-Szenarien – adäquat, erfolgreich und flexibel gelöst wurden. Denn erfolgreich erworbenes Wissen allein ist, wie viele empirische Untersuchungen gezeigt haben (TERGAN 2000, 144), noch kein Garant für einen erfolgreichen Transfer und eine erfolgreiche Re-Konstruktion des Gelernten in einer Anwendungssituation. Eine erfolgreiche Lösung repräsentativer und komplexer simulierter Aufgaben oder Teilaufgaben aus einem Anwendungsfeld – die in E-Learning-Szenarien gut darstellbar sind – zum Abschluss eines Lernprozesses kann exemplarisch zeigen oder erkennbar werden lassen, ob die angestrebten subjektiven Handlungskompetenzen tatsächlich erworben wurden, aber bewiesen ist dies erst in der Anwendungspraxis selbst. Reine Wissensprüfungen, z.B. mittels Multiple-Choice-Tests, wie sie in E-Learning-Szenarien häufig zu finden sind, können prinzipiell nur nachweisen, dass gelerntes Wissen reproduziert werden konnte, nicht aber, ob dieses oft als „träge“ bezeichnete Wissen auch in eine Anwendung transferiert bzw. in einer Anwendungssituation rekonstruiert werden kann.
Lernen und Lernerfolg ist zudem niemals eine isolierte individuelle Leistung, die allein einem isoliert lernenden Individuum zugerechnet werden kann, sondern sie wird erst in kooperativen und kommunikativen Kontexten mit anderen Lernenden, Lehrenden und Experten in E-Learning-Szenarien als eine individuelle Leistung hervorgebracht. Ein individueller Lernerfolg, obgleich ein solcher immer eine subjektive Leistung ist, wird erst durch die tätige übernehmende oder kritische Auseinandersetzung des lernenden Subjekts mit den präsentierten Ergebnissen und Leistungen anderer Subjekte im virtuellen Lernraum möglich. Da sich diese Kontexte jedes individuellen Lernprozesses niemals völlig kontrollieren lassen und es daher auch keinen absolut kausalen, sondern immer nur einen mehr oder weniger wahrscheinlichen Wirkungszusammenhang zwischen Lehren und Lernen geben kann, gehen aus Lernprozessen prinzipiell immer intendierte und nicht intendierte subjektive Lernerfolge hervor. Der Grund liegt darin, dass Lernende immer auch individuell – oft auch im Einvernehmen oder in widerständiger Auseinandersetzung mit anderen – über die Ziele, Gegenstände, Methoden und Ergebnisse der Lernanforderungen und Lernkontexte wie ihrer Lernprozesse nachdenken und möglicherweise begründet oder auch spontan zu modifizierten, erweiterten oder auch ganz anderen, die Grenzen der E-Learning-Szenarien überschreitenden Lernhandlungen gelangen und somit andere Lernresultate erreichen, die zuvor weder beabsichtigt noch abzusehen waren.
Lernerfolg ist somit prinzipiell mehrfach bestimmt, nämlich als ein in kooperativen Kontexten – nicht nur in E-Learning-Szenarien – individuell erworbenes Profil subjektiver Handlungskompetenzen, das sich aus intendierten und nicht intendierten Anteilen zusammensetzt und zu angemessenem, flexiblem und innovativem Handeln in spezifischen Anwendungsfeldern und darüber hinaus zur individuellen und gesellschaftlichen Lebensgewinnung insgesamt befähigt. Lernerfolge bzw. Handlungskompetenzen können diesen fundamentalen Verhältnissen zwischen Subjekt, Gesellschaft und Sache entsprechend, wie dies seit vielen Jahren nicht nur in der Berufsbildung diskutiert wird, generell in drei Dimensionen beschrieben werden, nämlich in den Dimensionen Sachkompetenzen, Sozialkompetenzen und Selbstkompetenzen (REETZ 1999). Diese drei generellen Kompetenzdimensionen können dann entsprechend den gesellschaftlichen Dimensionen aller Berufsaufgaben zur menschlichen Lebensgewinnung weiter untergliedert werden (ZIMMER 1998, 147ff.).
Allgemein ist Lernen als ein auf die Selbstbefähigung des lernenden Subjekts bezogener subjektiver Prozess von Lernhandlungen zu begreifen. Lernen vollzieht sich immer im Subjekt durch die Kombination von geistigen, materiellen und sozialen Handlungen des Subjekts mit ideellen oder dinglichen Gegenständen oder in individuellen oder sozialen Beziehungen in kulturellen Prozessen und gesellschaftlichen Verhältnissen mit dem Ziel eines Gewinns an subjektiver Handlungskompetenz. Jedes Lernen eines Subjekts findet immer in Kooperation und Auseinandersetzung mit andern Subjekten statt. Auch isoliertes individuelles Lernen bedarf als zeitlich und räumlich ausgegliederter Sonderfall immer der Rückbindung an die pädagogischen, sozialen und kulturellen Zusammenhänge. Konstitutiv für jeden individuellen wie kooperativen Lernprozess ist, dass die Subjekte über ihr Lernen prinzipiell selbst entscheiden. Auch wenn sie sich Zwängen beugen, also nur defensiv lernen , haben sie sich entschieden, denn sie hätten sich – möglicherweise unter Inkaufnahme von Nachteilen – auch anders entscheiden können (HOLZKAMP 1983, 236; ZIMMER/ PSARALIDIS 2000, 270). Entscheidend für ihren subjektiven Lernerfolg, nämlich den Erwerb ganzheitlicher Handlungskompetenzen, ist, dass sie alle Chancen von Lernarrangements zu expansivem Lernen nutzen (HOLZKAMP 1993; FAULSTICH/ LUDWIG 2004), was auch eine Reflexion und verändernde Gestaltung und inhaltliche Ergänzung der Lernarrangements durch die Lernenden selbst, z.B. in einem genutzten E-Learning-Szenarium, zur Verbesserung ihrer Lernchancen einschließt.
Auch wenn die Lernenden ihren Lernerfolg immer nur selbst produzieren können, so hängen ihre Chancen dazu, in E-Learning-Szenarien wie in allen anderen Lernarrangements, doch von einer Reihe von Faktoren und Bedingungen ab:
• Solche sind zunächst ihre eigenen Lernvoraussetzungen , ihre mitgebrachten Lernfähigkeiten, ihre Interessen und Motivationen und ihr Engagement. In Fallstudien hat sich gezeigt, „dass die Vorbildungen, Lerngewohnheiten, Berufserfahrungen, gegenwärtigen Arbeitssituationen und ergriffenen Berufsperspektiven ausschlaggebend sowohl für die erfolgreiche Bearbeitung der Lernsoftware wie für die Anwendung des Gelernten waren“ (ZIMMER/ PSARALIDIS 2000, 300, Hervorh. im Orig.).
• Solche sind sodann die Darstellungen und die Erfahrbarmachung von Problemlagen und Innovationsnotwendigkeiten sowie von Erfahrungsberichten und Entscheidungsmöglichkeiten in typischen Anwendungssituationen, z.B. durch Simulationen, die dazu anregen, die situativen Anforderungen zu den eigenen Fähigkeiten ins Verhältnis zu setzen, um Lernproblematiken zu erkennen und Lernaufgaben auszugliedern (ARNOLD/ KILIAN/ THILLOSEN/ ZIMMER 2004, 109ff.).
• Solche sind bekanntermaßen die in E-Learning-Szenarien verfügbaren und zugänglich gemachten Informationen, Simulationen, Interaktionen, Kommunikationen und Unterstützungen für die selbst gesteuerte oder kooperativ selbst organisierte Bearbeitung der vorgängig ausgegliederten Lernaufgaben.
• Solche sind, wie seit einiger Zeit erkannt, auch die praktizierte Lehr- und Lernkultur in E-Learning-Szenarien, insbesondere der Diskurs mit Lehrenden und anderen Experten in Form von Communities of Practice (ARNOLD 2003; ZIMMER 2005) und die dazu notwendige Infrastruktur im virtuellen Lernraum (ARNOLD/ KILIAN/ THILLOSEN/ ZIMMER 2004, 49ff.).
• Solche sind nicht zuletzt die Möglichkeiten zur Selbstbewertung des Lernfortschritts, zur Rückmeldung an die Lehrenden und zur Präsentation eigener Lern- und Arbeitsergebnisse im virtuellen Lernraum (HEROLD 2003).
Die Bestimmungen der Faktoren und Bedingungen zeigen, dass insbesondere in E-Learning-Szenarien, in denen das Lernen heute in der Regel nach den didaktischen Prinzipien der Selbststeuerung, der Selbstorganisation, der Kommunikation und Kooperation im Kompetenzerwerb organisiert ist, dass Lernende nur dann einen Lernerfolg werden verbuchen können, wenn sie aktiv individuell oder kooperativ mit Unterstützung von Lehrenden oder Experten in den E-Learning-Szenarien gemeinsam lernend handeln und dadurch zugleich die Szenarien mitgestalten und erweitern. Ob wirklich erfolgreich gelernt wurde, kann – wie oben ausgeführt – jedoch erst in Anwendungssituationen festgestellt werden. Umfragen unter den Lernenden zur „Zufriedenheit“ mit dem Lernen in E-Learning-Szenarien oder „Wissenstests“ am Ende der Bearbeitung von E-Learning-Modulen, auch wenn sie für Rückmeldungen an Lernende und Lehrende wichtig sein können, ergeben noch keine Aussagen darüber, ob und wie erfolgreich tatsächlich gelernt wurde (KROMREY 1999). Geäußerte „Unzufriedenheit“ könnte gerade zu produktiven Auseinandersetzungen angeregt, und damit zu einem höheren Lernerfolg geführt haben, entgegen der negativen Schlussfolgerung, die gewöhnlich daraus gezogen wird. Und umgekehrt könnte ein komplett beantworteter Wissenstest Zweifel darüber aufkommen lassen, ob die Lernenden damit bereits ihre Befähigung zum Transfer und zur Re-Konstruktion des Gelernten in Anwendungssituationen bewiesen haben, denn tatsächlich geprüft wird mit einem Wissenstest nur das Behaltene bzw. Auswendiggelernte. Möglicherweise ist die Transfer- und Re-Konstruktionsfähigkeit unzureichend geblieben und somit ein Defizit in den erworbenen Handlungskompetenzen verblieben, das die Lernenden erst später in einer Anwendungssituation durch zusätzliches begleitendes Lernen ausgleichen können. Somit stellt sich die entscheidende Frage, wie Lernerfolg in E-Learning-Szenarien im Hinblick auf die in späteren Anwendungssituationen erforderlichen Handlungskompetenzen messbar ist.
Wenn Lernerfolg eine subjektive Leistung ist und sich erst in realen und nur mit Einschränkungen in simulierten Anwendungssituationen in E-Learning-Szenarien erweist, ob die zur Meisterung der Situationen erforderlichen subjektiven Handlungskompetenzen auch vollständig erfolgreich erarbeitet wurden, ist ein Lernerfolg erst in Anwendungssituationen feststellbar und messbar. Das heißt, der in virtuellen Lernarrangements tatsächlich erreichte Lernerfolg ist nicht bereits in diesen selbst messbar. Dies ist nur dann möglich, wenn Arbeiten und Lernen integriert sind, wie dies beispielsweise mit einer Verfügbarkeit von E-Learning-Szenarien am Arbeitsort gegeben ist. In diesem Fall zeigt sich ein Lernerfolg unmittelbar in der realen Anwendung. Wenn jedoch die E-Learning-Szenarien und die Anwendungssituationen örtlich, zeitlich und didaktisch getrennt sind, dann wirft eine wahrheitsgemäße Messung eines Lernerfolgs einige Probleme auf.
Ein zentrales Problem sind zunächst der möglicherweise nicht einfache Zugang zu den Anwendungsorten und sodann die Schwierigkeiten der Messung des Lernerfolgs in realen Anwendungssituationen, zumal in den Anwendungssituationen meist nicht alle erworbenen Handlungskompetenzen zugleich gefordert sind. Eine in der Berufsbildung entwickelte und eingesetzte Ersatzlösung für diese Problematik besteht in der Konzeptualisierung „handlungsorientierter Prüfungen“ (EBBINGHAUS 2004; DIETTRICH/ KOHL/ MOLZBERGER 2005; SCHMIDT 2000, 2005 ) und in einer den Ausbildungsprozess bzw. Lernprozess begleitenden Beurteilung eines Lernerfolgs im Dialog mit allen Beteiligten unter Einschluss der Lernenden selbst (HEROLD 2003; MASSON 2003) und der damit zugleich gegebenen Möglichkeit einer Vereinbarung der nächsten Lernschritte und der didaktischen Veränderungen der Lernarrangements. Dies ist ein Verfahren, das auch auf das Lernen in E-Learning-Szenarien übertragen werden kann.
Für eine Meisterung der skizzierten Problemlage einer objektiven, transparenten, anforderungsgerechten und vollständigen Messung des Lernerfolgs in Anwendungssituationen lassen sich prinzipiell zwei Wege einer Messung unterscheiden: die pragmatische Messung und die wissenschaftliche Messung .
Die pragmatische Messung eines Lernerfolgs bezieht sich auf die quantitative und qualitative Messung des erreichten Produkts bzw. Ergebnisses subjektiver Handlungen in Bezug auf das angestrebte Handlungsziel in realen oder – mit Einschränkungen in E-Learning-Szenarien – in simulierten Anwendungssituationen. Von zentraler Bedeutung ist dabei, dass nicht nur Lehrende, Ausbilder und andere Experten die Bestimmung der zu messenden Dimensionen und die Messung selbst vornehmen, sondern daran auch die Lernenden beteiligt werden. Zum einen, um mögliche Fehlwahrnehmungen aller Beteiligten zu minimieren, und zum anderen, um die Reflexion und Selbsteinschätzung der Lernenden bezüglich ihrer Lernhandlungen und Lernleistungen zu stärken (HEROLD 2003).
Quantitativ zu messende Dimensionen im Anwendungsfeld sind beispielsweise der aufgewendete Zeitaufwand, Zahl und Folge der Handlungsschritte, Zahl der hergestellten Produkte nach Qualitätskategorien, Zahl der bearbeiteten und erfolgreich gelösten Fälle, erzielter Umsatz, Zahl und Art der Reklamationen und andere Dimensionen mehr. Welche Dimensionen jeweils quantitativ zu messen sind, ergibt sich aus den im Anwendungsfeld zu erbringenden Leistungen. Allerdings genügt die rein quantitative Messung der Dimensionen nicht, sondern es muss bei jeder Dimension zugleich qualitativ nachgefragt bzw. erhoben werden, aus welchen Gründen die erbrachten Leistungen von den geplanten Leistungen abweichen, z.B. der aufgewendete Zeitaufwand größer oder kleiner ist als der geplante Zeitaufwand. Denn es kann immer sein, dass auftretende Abweichungen – in welche Richtung auch immer – nicht von den Prüfungskandidaten zu vertreten sind und ihnen daher auch nicht angelastet oder gutgeschrieben werden können. Nicht nur die Gründe für Abweichungen sind für eine qualitative Messung von Lernerfolg zu erheben, sondern auch die erkannten und vorgenommenen Innovationen in den Handlungsabläufen, verwendeten Methoden und Hilfsmitteln usw., die zu einer effizienten Erbringung der Leistungen bzw. Herstellung der Produkte geführt haben.
Qualitativ zu messende Dimensionen im Anwendungsfeld sind beispielsweise die Exzellenz erzeugter Produkte bzw. Ergebnisse oder die Fehlerhaftigkeit derselben sowie unzureichende, oberflächliche, danebenliegende oder umgekehrt, kreative und innovative Problemlösungen und auch der Einsatz und das Engagement des Kandidaten in der Prüfungssituation. Dabei sind auch die Gründe zu erheben, warum erwartete Qualitäten nicht erreicht wurden oder sich als überzogen herausgestellt haben oder sogar noch verbessert werden konnten.
Da erworbene Kompetenzen sich erst im Anwendungsfeld zeigen, genügt es nicht, die in individuellen Prüfungsresultaten vergegenständlichten Leistungen zu messen. Bessere Grundlagen für eine Leistungsbeurteilung sind zu erreichen, wenn der gesamte individuelle und kooperative Prozess des Erwerbs der subjektiven Handlungskompetenzen in E-Learning-Szenarien, die sich in einer Prüfungsleistung zeigen, in die Erhebungen einbezogen wird. Es liegt daher nahe, bereits während eines Lernprozesses im virtuellen Lernraum eine begleitende Leistungsmessung vorzunehmen (ZIMMER/ DIPPL 2003, 13f.). Auch um eine größere Sicherheit für eine objektive Messung eines Lernerfolgs in realen oder simulierten Anwendungssituationen zu erreichen, bietet sich eine begleitende Messung des Erwerbs von Handlungskompetenzen im Lernprozess an (MASSON 2003). Begleitend messbare Dimensionen können sein, neben den oben genannten quantitativen und qualitativen Dimensionen: Arbeitsweise, Selbstständigkeit, Kommunikation, Kooperation, Flexibilität, Problemlösung, Verantwortung und andere. Die Messung des Kompetenzerwerbs in diesen Dimensionen erfordert in E-Learning-Szenarien die Implementierung entsprechender qualitativer Evaluationsinstrumente, z.B. offen zu beantwortende Fragebögen. Ein weiterer und wesentlicher Vorteil der begleitenden Messung ist, dass aufgrund der gemessenen Ergebnisse mit den Lernenden ein Rückmeldegespräch Online geführt werden kann und auf dieser Grundlage Vereinbarungen über die weiteren Lernziele, Lernschritte, Lernhilfen und Lernanstrengungen in verfügbaren oder zu erweiternden E-Learning-Szenarien getroffen werden können, damit ein angestrebter Lernerfolg möglichst effizient und optimal erreicht werden kann.
Die zu messenden quantitativen und qualitativen Dimensionen müssen jeweils entsprechend den Anforderungen und Bedingungen in den Anwendungsfeldern und den dort erforderlichen Handlungskompetenzen konkretisiert werden. Aus der Bestimmung der quantitativen und qualitativen Dimensionen ergeben sich die anzuwendenden Messverfahren und Messinstrumente. Die immer auch bei allen quantitativen und qualitativen Dimensionen zu stellenden Fragen nach den Gründen und Vorschlägen machen deutlich, dass in den wenigsten Fällen standardisierte Multiple-Choice-Fragebögen auch für eine nur pragmatische Messung von Lernerfolgen ausreichend sein dürften.
Die wissenschaftliche Messung eines Lernerfolgs in E-Learning-Szenarien hat die Untersuchung der Gründe für Erfolg oder Misserfolg des Lernens zum Ziel, um daraus Hinweise für die didaktische Gestaltung effizienter Lernprozesse in virtuellen Lernräumen zu gewinnen. Didaktische Gestaltung umfasst die einzubringenden oder begleitend zu erwerbenden Lernvoraussetzungen, die Verfügbarkeit von Informationen, Kommunikationen, Anwendungsbezügen, Rückmeldungen und Unterstützungen, die Strukturierung und den Ablauf der subjektiven Lernhandlungen sowie Hinweise und Übungen für den Transfer des Gelernten in beispielhaft simulierte Anwendungsfelder. Bei der wissenschaftlichen Messung eines Lernerfolgs, wie er sich in konkreten Anwendungssituationen realisiert, geht es somit nicht nur um die quantitative und qualitative Messung eines Lernerfolgs selbst. Vielmehr soll der Zusammenhang zwischen einem Lernerfolg und einem E-Learning-Szenarium wissenschaftlich begründet aufgeklärt werden. Es ist dementsprechend zu fragen: Welcher Lernerfolg ist durch welches Lernszenarium ermöglicht worden? Sowie: Wie haben die Lernenden die gebotenen Möglichkeiten zu expansivem Lernen genutzt, umgestaltet und erweitert oder haben sie sich widerständig in die medial vorgegebenen Lernmöglichkeiten gefügt und nur defensiv gelernt? Und: Wie ist ein E-Learning-Szenarium zu gestalten, damit die Lernenden den gewünschten und angestrebten Lernerfolg effizient erreichen oder übertreffen können?
Da Lernen immer eine subjektive und durch Eigensinn geprägte Leistung ist, können weder kausale noch wahrscheinlichkeitstheoretisch interpretierte Beziehungen zwischen den Gestaltungsfaktoren von E-Learning-Szenarien und Lernerfolgen angenommen werden (siehe ausführlich Kritik der Evaluation nach dem Modell der Wirkungsforschung in ZIMMER 2000). Dennoch soll gemessen werden, ob ein subjektiver Gewinn an Handlungskompetenzen ganz oder in wesentlichen Teilen den Lernhandlungen in einem E-Learning-Szenarium zugeschrieben werden kann. Hierfür bietet sich die Methode der logischen Rekonstruktion der Lernhandlungen an (PAQ 1980, 19ff.; ZIMMER 1987, 26ff. und 130ff.; ZIMMER 2000; ZIMMER/ PSARALIDIS 2000; GAISER 2002; ARNOLD 2003; GROTLÜSCHEN 2003; LANGEMEYER 2005).
Logische Rekonstruktion bedeutet, den Zusammenhang der erworbenen Handlungskompetenzen mit den Lernhandlungen in einem E-Learning-Szenarium und ihren organisatorischen, sozialen und kulturellen Kontexten in seiner Logik zu rekonstruieren. Dies schließt sowohl die logische Rekonstruktion der Potenziale, Begrenzungen, Brüche, Gegensätzlichkeiten und Widersprüche der herausgebildeten subjektiven Handlungskompetenzen als auch der subjektiv vollzogenen Lernhandlungen, die zu den Handlungskompetenzen geführt haben, ein. Es bietet sich an, die erforderlichen Messungen und Erhebungen zur Rekonstruktion des Zusammenhangs jeweils zu bestimmten Zeitpunkten in einer repräsentativen Anwendungssituation in Bezug auf konkrete Lernziele bzw. Handlungskompetenzen vorzunehmen. Daraus sind die Entwicklungen der Lernhandlungen und der Kompetenzen von den vorhergehenden Zeitpunkten und Situationen bis zum aktuellen Zeitpunkt und zur gegenwärtigen Situation in ihrer Logik zu rekonstruieren; beispielsweise von einem Zeitpunkt A vor dem Start des Lernens in einem E-Learning-Szenarium bis zu einem Zeitpunkt C der Anwendung des Gelernten in konkreten Anwendungssituationen. Das heißt, begründet zu klären, welche Herausforderungen, Chancen, Bedingungen und Begrenzungen in welchen Situationen wie zum Erwerb der subjektiven Handlungskompetenzen bis zum aktuellen Zeitpunkt geführt haben. Dabei kann der Zuwachs an Handlungskompetenzen vom Zeitpunkt A zum Zeitpunkt B, dem Abschluss des Lernens in einem E-Learning-Szenarium als fundamentaler Lernschritt interpretiert werden, weil hier Umstrukturierungen und grundlegende Anhebungen in den subjektiven Handlungskompetenzen angeregt und erworben wurden. Dagegen wird vom Zeitpunkt B, dem Abschluss des Lernens in einem E-Learning-Szenarium, bis zum Zeitpunkt C, der Anwendung des Gelernten in einem konkreten Anwendungsfeld, der subjektive Kompetenzzuwachs als ein relativer durch Übung und Reflexion anzusehen sein (MILLER 1986, 7ff.).
Für die Mess- und Erhebungszeitpunkte A, B und C sind die den jeweils messbaren Lernerfolgen entsprechenden Dimensionen zu definieren und die diesen angemessenen Instrumente zu entwickeln. So sind beispielsweise zum Zeitpunkt A die bisher bewältigten Aufgaben, gestellten Anforderungen, vollzogenen Tätigkeiten, entwickelten Kompetenzen sowie Bedingungen und Kontexte zu erheben. Zum Zeitpunkt B sind z.B. die gestellten Lernaufgaben, bereitgestellten Informationen und Kommunikationen, verfügbaren Unterstützungen durch Lehrende und andere Experten, organisierten Lernszenarien und hergestellten Anwendungsbezügen zu erheben. Und zum Zeitpunkt C sind dann beispielsweise die nun zu bewältigenden Aufgaben, neuen Anforderungen, hervorgebrachten Kompetenzen, entwickelten Handlungsstrukturen, neuen Bedingungen und Kontexte zu erheben. Diese kurze Beschreibung macht deutlich, dass die Messungen und Erhebungen ein Spektrum an Methoden der qualitativen empirischen Sozialforschung und einen Mix entsprechender Erhebungsinstrumente erfordern (siehe BORTZ/ DÖRING 2002; LAMNEK 2005). So können zur Datenerhebung z.B. infrage kommen: Betriebs- und Arbeitsplatzbesichtigungen, Befragungen der Beteiligten, Analysen von Sekundärmaterialien, Analysen der bearbeiteten Aufgaben und Tests in virtuellen Lernarrangements, Selbstbeurteilungen der Lernenden und Lehrenden, Analysen der Lernhandlungen, Analysen der Lern- und Arbeitsumgebungen und der organisatorischen und funktionalen Positionierung der Lernenden in den Lern- und Arbeitszusammenhängen und andere mehr, aber auch Video- oder Audio-Aufzeichnungen oder Interaktions- und Kommunikations-Protokolle sowie lautes Denken in E-Learning-Szenarien.
Grundüberlegung für die Beantwortung dieser Frage ist, wie eingangs dargelegt, dass eine reflektierte und erfolgreiche Anwendung des Gelernten in realen Anwendungssituationen der Referenzpunkt für Lernerfolg ist. Denn die Zweckdienlichkeit eines Lernprozesses in einem E-Learning-Szenarium zeigt sich erst, wenn die Lernenden das Szenarium bereits verlassen haben. Am Ende eines Lernprozesses in einem E-Learning-Szenarium zeigt sich zunächst nur der Lernerfolg in Bezug auf die Meisterung der Anforderungen im Szenarium selbst. Wenn also ein tatsächlich erreichter Lernerfolg sich erst in einer realen Anwendungssituation zeigt, können primär nur die in einer Anwendungssituation Beteiligten einen subjektiven Lernerfolg messen und bewerten. Denn die Organisationsformen von und die Beteiligten in virtuellen Lernarrangements sind in der Regel andere als in realen Anwendungssituationen, es sei denn, Lernen und Anwenden sind, z.B. am Arbeitsplatz mit E-Learning-Zugang, integriert.
Für eine Beurteilung in realen Anwendungssituationen kommen in der Regel mehrere Beteiligte infrage. Dies ist zunächst der Lernende selbst, der erkennt und reflektiert, ob und wie gut er nach Beendigung seiner Lernprozesse in einem E-Learning-Szenarium in der Lage ist, in Anwendungssituationen kompetent, angemessen und innovativ zu handeln. Jedoch kann er in der Beurteilung seines Lernerfolgs auch einer unbewussten oder interessierten Selbsttäuschung aufsitzen. Daher sollten weitere Evaluatoren hinzukommen, die seinen Lernerfolg in Anwendungssituationen begutachten. Dies können Vorgesetzte und Untergebene, Mitarbeiter und Kooperationspartner, Kunden und Lieferanten, Gutachter und Lehrpersonen sein – etwa entsprechend dem Verfahren eines 360 Grad-Feedbacks ( SCHERM 2005 ). Das Ergebnis der Beurteilungen ist in einem strukturierten Protokoll in qualitativen Beschreibungen, die gestuften Niveaus zugeordnet werden können, festzuhalten, wobei Beurteilungsdifferenzen zunächst zwischen den Beurteilern diskursiv zu klären und ggf. begründet im Beurteilungsprotokoll zu notieren sind.
Sekundär können, wie dies bislang weithin verbreitet ist, Lernerfolge auch unmittelbar im Anschluss an Lernprozesse im E-Learning-Szenarium gemessen und bewertet werden. Allerdings gibt eine solche Evaluation nur über die Bewältigung der Lernaufgaben im E-Learning-Szenarium Auskunft, nicht aber über erworbene Fähigkeiten zum Transfer und zur Re-Konstruktion der erworbenen Handlungskompetenzen in realen Anwendungssituationen. Der Vorhersagewert dieser Evaluationsergebnisse hängt davon ab, ob die Lernaufgaben bzw. das Ensemble der Lernaufgaben im E-Learning-Szenarium einen hohen Grad an Übereinstimmung mit den Aufgaben oder den Aufgabenanforderungen in realen Anwendungssituationen haben, wie dies beispielsweise in den handlungsorientierten Abschlussprüfungen in der dualen Berufsausbildung verlangt wird (Berufsbildungsgesetz – BBiG § 38; REETZ 2005 ). Eine Konstruktion repräsentativer Simulationen von Anwendungssituationen im E-Learning-Szenarium könnte hier Abhilfe bieten, wobei an der Evaluation der gezeigten Lernleistungen Gutachter aus dem Anwendungsfeld beteiligt werden sollten. Generell sollten Beurteiler bei Evaluationen zum Abschluss organisierter Lernprozesse nicht nur die Lehrenden und die Lernenden sein, sondern auch hinzugezogene externe Gutachter aus den jeweiligen typischen Anwendungsfeldern, wie dies beispielsweise im BBiG § 39 vorgesehen ist. Das Beurteilungsergebnis wie auch mögliche Beurteilungsdifferenzen zwischen den Gutachtern sind wiederum in einem gemeinsamen strukturierten Protokoll begründet festzuhalten, das Grundlage für ein Zertifikat sein kann.
Tertiär können auch das E-Learning begleitende Evaluationen von Lernerfolg durchgeführt werden. Solche Evaluationen beziehen sich erstens auf die Beurteilung von Zwischenergebnissen und zweitens auf die Beurteilung der Handlungsprozesse der Lernenden im E-Learning-Szenarium. Evaluatoren wären hier vor allem die Lehrenden und Lernenden. Aber auch externe Gutachter können hinzugezogen werden. Allerdings werden diese in der Regel nur bestimmte Lernprozessabschnitte begleiten können, sodass ihre Aussagen meist nur Anlass zu fundierteren Beurteilungen der Lehrenden und Lernenden und zu Korrekturen in den weiteren Lehr- und Lernprozessen geben können. Bei lernbegleitenden Evaluationen kommt es vor allem auf den gemeinsamen Dialog über die Ziele, Inhalte, Methoden, Bedingungen und Infrastrukturen der virtuellen und realen Lernräume an, um die Lern- und Lehrprozesse sowie die Zwischenergebnisse zu verbessern. Auch hier sind die Beurteilungsergebnisse in strukturierter und begründeter Form in einem Protokoll festzuhalten. Auf der Grundlage eines solchen Beurteilungsprotokolls sind dann für den weiteren Lernprozess Zielvereinbarungen zu treffen, entweder damit erkannte Differenzen zwischen den erreichten und den geplanten Lernerfolgen in den nächsten Lernschritten oder durch zusätzliche Lernschritte ausgeglichen werden oder um Erweiterungen, Veränderungen oder Eingrenzungen der nächsten angestrebten Lernerfolge vorzunehmen (MASSON 2003).
In welchen Phasen der Lernprozesse in einem E-Learning-Szenarium auch immer die Evaluation von Lernerfolg vorgenommen wird, eine wahrheitsgemäße Bewertung eines Lernerfolgs erfordert immer den Diskurs aller direkt Beteiligten unter Einschluss der zu Beurteilenden . Da in E-Learning-Szenarien nach den Prinzipien der Selbststeuerung und kooperativen Selbstorganisation der Lernprozesse gelernt wird, sind die Lehrenden nicht an jedem Lernschritt initiierend oder beobachtend beteiligt, oft sehen sie nur ein Zwischenergebnis. Sie können daher auch nicht über jeden Lernschritt ein eigenes Urteil abgeben. Schon allein aus diesem Grund müssen die Mitlernenden und die Lernenden selbst an der Evaluation beteiligt werden. Der Beurteilungsdiskurs ist notwendig, um zu einer intersubjektiv übereinstimmenden Beurteilung zu gelangen und damit abweichende Beurteilungen für alle Beteiligten und den zu Beurteilenden begründet und nachvollziehbar werden. Entscheidend ist dabei, auch wenn letztendlich die Beurteilungen in Zensuren oder Punktwerten quantifiziert werden, dass zunächst alle Beurteilungen qualitativ begründet werden , weil sonst immer die Gefahr bei allen Beurteilern besteht, dass auch aktuelle Stimmungslagen eine Beurteilung beeinflussen. Ein Verzicht auf eine qualitative Beurteilung ist als eine „methodische Leichtfertigkeit“ anzusehen, die für einen nicht absehbaren Kreis von Betroffenen, nicht nur für den Beurteilten, sondern auch z.B. für ein einstellendes Unternehmen, erhebliche Konsequenzen haben kann (KROMREY 1999, 64f. und 76). Erst durch das Zusammenwirken der jeweils Beteiligten an Beurteilungen kann eine möglichst objektive, d.h. intersubjektiv abgestimmte und begründete Beurteilung erreicht werden.
Eine wahrheitsgemäß begründete, den realen Anforderungen in Anwendungssituationen entsprechende Evaluation von Lernerfolg kann daher immer nur Resultat eines kommunikativen Prozesses zwischen allen direkt beteiligten Beurteilern sein. Daher sind die den naturwissenschaftlichen Mess- und Bewertungsverfahren analog entwickelten quantifizierenden Standardverfahren und Instrumente für die Evaluation subjektiver Lernerfolge gänzlich ungeeignet. Das heißt nicht, dass bei qualitativ eindeutig bestimmten Dimensionen von Lernerfolgen nicht quantifizierende Daten erhoben werden können und sollen. Jedoch lassen sich damit die Potenziale, Begrenzungen und Widersprüchlichkeiten von Lernerfolgen, also von erlernten subjektiven Handlungskompetenzen, in keiner Weise erfassen, beschreiben und prognostizieren.
Eine zukünftige oder eine die Lernprozesse begleitende Verbesserung von Lernerfolg erfordert, dass eine gemessene und von den Beteiligten bewertete Differenz zwischen den im Kontext eines E-Learning-Szenariums erworbenen Kompetenzen und den in typische reale Anwendungssituationen transferierten Kompetenzen ins Verhältnis zu den Lernhandlungen sowie Lernbedingungen im E-Learning-Szenarium gesetzt werden (siehe oben). Dies ist diskursiv und rekonstruktiv von den Beteiligten zu leisten. Aus dem Bezug der analytisch und bewertet herausgehobenen Kompetenzdifferenzen auf das E-Learning-Szenarium, auf dessen Kontext und auf die Handlungen der beteiligten Personen können Schlussfolgerungen für die weitere oder zukünftige Verbesserung von Lernerfolg gezogen werden. Entscheidend ist dabei die Frage, in welchen Kompetenzdimensionen (Inhalten, Fähigkeiten, Niveaus) welche Differenzen aufgetreten sind , weil davon abhängt, welche Veränderungen, Erweiterungen oder Begrenzungen in der didaktischen Gestaltung eines Szenariums, der Lernkontexte und Anwendungsbezüge, der Vorbereitung der Lernenden, der Unterstützungsleistungen und –formen der Lehrenden bzw. Experten im weiteren Lernprozess, im nächsten E-Learning-Kurs oder zukünftig geplanten E-Learning-Modulen vorgenommen werden müssen.
In diesem Sinne sollten durch eine entsprechende inhaltliche, didaktisch-methodische und medial-interaktive Gestaltung von E-Learning-Szenarien Verbesserungen der Lernerfolge in folgenden zentralen Kompetenzdimensionen erreicht werden:
• Die Bedeutung der Arbeitsaufgaben in den jeweiligen Anwendungsfeldern und -situationen sowie der zu ihrer angemessenen, flexiblen und innovativen Bearbeitung erforderlichen Handlungskompetenzen in ihren gesellschaftlichen, ökonomischen und kulturellen Zusammenhängen in Vergangenheit, Gegenwart und Zukunft zu kennen.
• Die Handlungsziele der Beteiligten in realen Anwendungssituationen zu kennen bzw. einschätzen zu können und die eigenen Ziele in Bezug auf die der anderen Beteiligten und in Bezug auf die verallgemeinerbaren gesellschaftlichen, ökonomischen und kulturellen Ziele menschlicher Lebensgewinnung erkennen und bestimmen zu können.
• Die eigenen Positionen und Zuständigkeiten in realen Anwendungssituationen zu kennen und die erforderlichen Entscheidungskompetenzen zu erkennen und adäquat in den Anwendungssituationen wahrnehmen und erforderlichenfalls auch durchsetzen zu können.
• Das notwendige Fachwissen in seinen gesellschaftlichen, ökonomischen und kulturellen Kontexten sich im erforderlichen Umfang und der erforderlichen Tiefe aneignen und entsprechend den Anforderungen der jeweiligen Anwendungssituationen transferieren und rekonstruieren zu können.
• Die Methoden und Instrumente zur Aufgabenbearbeitung zu kennen und vor allem den jeweiligen Anwendungssituationen entsprechend flexibel anpassen, erweitern und innovativ weiterentwickeln zu können.
• Eine sachgerechte und zielorientierte Kommunikation und Kooperation aufgabenbezogen und darüber hinaus auch kontextbezogen führen und aufbauen zu können.
• Das Erkennen, Reflektieren und Bewerten des eigenen Handelns und der eigenen Kompetenzen sowie auch des Handelns und der eingebrachten Kompetenzen der anderen Beteiligten in allen Dimensionen in seinen tatsächlichen Gehalten und Wirkungen angemessen vornehmen zu können, um daraus Schlussfolgerungen für die Verbesserung des eigenen Handelns und der eigenen Kompetenzen wie für entsprechende Hinweise und Vorschläge an die anderen Beteiligten zu ziehen, um zu einvernehmlichen Lernerfolgen und Problemlösungen in realen Anwendungssituationen zu kommen.
Welche Kompetenzdimensionen in Inhalt und Form defizitär sind und wie diese Defizite bewertet werden, ergibt den Gestaltungsbedarf für E-Learning-Szenarien . Dieser kann eine Veränderung der Lernmethoden bzw. Lernhandlungen erfordern, z.B. statt der reinen Bearbeitung linearer E-Learning-Module deren Kombination mit Simulationen. Er kann in der Erweiterung oder Konzentration der zur Verfügung gestellten Informationen oder in der Verbesserung des Transfers des Gelernten in reale Anwendungssituationen bestehen, z.B. durch die Bearbeitung repräsentativer Simulationen. Gestaltungsbedarf kann auch in einer besseren oder anderen Beratung und Unterstützung durch Lehrende oder Experten oder in der Einrichtung von Communities of Practice in virtuellen Lernräumen bestehen. Er kann eine Verbesserung des virtuellen Lernraums erfordern, damit die Lernenden alle benötigten Abteilungen und Funktionen für ihre selbst gesteuerten und kooperativ selbst organisierten Lernhandlungen in E-Learning-Szenarien vorfinden. Schließlich kann Gestaltungsbedarf in den den Lernenden in virtuellen Lernräumen eingeräumten Möglichkeiten zur Rückmeldung und zum Diskurs über alle Aspekte der interaktiven multimedialen Bildungsangebote und darüber hinausgehend der kommunikativen Reflexion der Lernhandlungen aller Beteiligten im Lernraum bestehen.
ARNOLD, P. (2003): Kooperatives Lernen im Internet. Qualitative Analyse einer Community of Practice im Fernstudium . Münster.
ARNOLD, P./ KILIAN, L./ THILLOSEN, A./ ZIMMER, G. (2004): E-Learning. Handbuch für Hochschulen und Bildungszentren. Didaktik, Organisation, Qualität . Nürnberg .
BORTZ, J. / DÖRING, N. (2002): Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler . Berlin .
DIETTRICH, A./ KOHL, M./ MOLZBERGER, G. (2005): Kompetenzorientierte Prüfungen und Zertifizierungen in der Berufsbildung – Zum Umsetzungsstand in der IT-Aus- und IT-Weiterbildung . In: bwp@ Berufs- und Wirtschaftspädagogik – online, Ausgabe 8 , 1-29. Online: http://www.bwpat.de/ausgabe8/diettrich_kohl_molzberger_bwpat8.pdf (29-11-2008).
EBBINGHAUS, M. (2004): Prüfungsformen der Zukunft? – Prüfungsformen mit Zukunft? Bielefeld .
EU-KOMMISSION (2005): Arbeitsunterlage der Kommissionsdienststellen: Auf dem Weg zu einem Europäischen Qualifikationsrahmen für lebenslanges Lernen. Brüssel, 08.07.2005, SEK (2005) 957.
FAULSTICH, P./ LUDWIG, J. (Hrsg.) (2004): Expansives Lernen. Baltmannsweiler.
GAISER, B. (2002): Die Gestaltung kooperativer telematischer Lernarrangements . Aachen .
GROTLÜSCHEN, A. (2003): Widerständiges Lernen im Web – virtuell selbstbestimmt? Eine qualitative Studie über E-Learning in der beruflichen Erwachsenenbildung . Münster .
HEROLD, G. (2003): Wege aus der Unselbstständigkeit – Selbstevaluation als Instrument, die erlernte Unselbstständigkeit zu verlernen. In: ELSTER, F./ DIPPL, Z./ ZIMMER, G. (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements . Bielefeld , 95-112.
HOLZKAMP, K. (1983): Grundlegung der Psychologie . Frankfurt/Main, New York .
HOLZKAMP, K. (1993): Lernen. Subjektwissenschaftliche Grundlegung . Frankfurt/Main, New York .
KROMREY, H. (1999): Von den Problemen anwendungsorientierter Sozialforschung und den Gefahren methodischer Halbbildung . In: Sozialwissenschaften und Berufspraxis , 22 . Jg., H. 1 , 58-77.
LAMNEK, S. (2005): Qualitative Sozialforschung. 4. vollst. überarb. Aufl.Weinheim.
LANGEMEYER, I. (2005): Kompetenzentwicklung zwischen Selbst- und Fremdbestimmung. Arbeitsprozessintegriertes Lernen in der Fachinformatik. Eine Fallstudie. Münster.
MANDL, H./ REINMANN-ROTHMEIER, G. (2000): Vom Qualitätsbewußtsein über Selbstevaluation und maßgeschneidertes Vorgehen zur Transfersicherung . In: SCHENKEL, P./ TERGAN, S.-O. / LOTTMANN, A. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand . Nürnberg , 89-105.
MASSON, J. (2003): Ausbildung im Dialog – AiD. In: ELSTER, F./ DIPPL, Z./ ZIMMER, G. (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements . Bielefeld , 87-93.
MILLER, M. (1986): Kollektive Lernprozesse. Studien zur Grundlegung einer soziologischen Lerntheorie . Frankfurt a. M .
PAQ (1980)- PROJEKTGRUPPE AUTOMATION UND QUALIFIKATION ( HAUG, F./ MAY, H./ NEMITZ, R./ OHM, C./ RÄTHZEL, N./ VAN TREECK, W./ WALDHUBEL, T./ WENK, S./ ZIMMER, G. ): Automationsarbeit: Empirische Untersuchungen, Teil 1 . Berlin .
REETZ, L. (1999): Kompetenz. In: KAISER, F.-J./ PÄTZOLD, G. (Hrsg.): Wörterbuch Berufs- und Wirtschaftspädagogik. Bad Heilbrunn und Hamburg, 246.
REETZ, L. (2005): Situierte Prüfungsaufgaben. Die Funktion von Situationsaufgaben in Abschlussprüfungen des Dualen Systems der Berufsausbildung . In: bwp@ Berufs- und Wirtschaftspädagogik – online, Ausgabe 8 , 1-32. Online: http://www.bwpat.de/ausgabe8/reetz_bwpat8.pdf (03-11-2008).
SCHENKEL, P./ HOLZ, H. (Hrsg.) (1995): Evaluation multimedialer Lernprogramme und Lernkonzepte . Nürnberg .
SCHENKEL, P./ TERGAN, S.-O./ LOTTMANN, A. (Hrsg.) (2000): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand . Nürnberg .
SCHERM, M. (2005): 360-Grad-Beurteilungen: Leistung einschätzen und Kompetenzen entwickeln. In: SCHERM, M. (Hrsg.): 360-Grad-Beurteilungen. Diagnose und Entwicklung von Führungskompetenzen . Göttingen, 3-19
SCHMIDT, J. U. (2000): Handlungsorientierte Prüfungen . In: CRAMER, G./ KIEPE, K. (Hrsg.): Jahrbuch Ausbildungspraxis 2000 . Köln , 172-184.
SCHMIDT, J. U. (2005): Prüfungsmethoden in der Aus- und Weiterbildung. Katalog und Leitfaden für Sachverständige in Neuordnungsverfahren, Aufgabensteller/-innen und Prüfer/-innen . Bielefeld .
TERGAN, S.-O. (2000): Bildungssoftware im Urteil von Experten. 10 + 1 Leitfragen zur Evaluation. In: SCHENKEL, P. / TERGAN, S.-O./ LOTTMANN, A. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand . Nürnberg , 137-163.
ZIMMER, G. (1987): Selbstorganisation des Lernens. Kritik der modernen Arbeitserziehung . Frankfurt/Main .
ZIMMER, G. (1998): Aufgabenorientierte Didaktik. Entwurf einer Didaktik für die Entwicklung vollständiger Handlungskompetenzen in der Berufsbildung . In: MARKERT, W. (Hrsg.): Berufs- und Erwachsenenbildung zwischen Markt und Subjektbildung . Baltmannsweiler , 125-167.
ZIMMER, G. (2000): Evaluation der Lehre durch logische Rekonstruktion der Lernhandlungen . In: CLEMENS, W./ STRÜBING, J. (Hrsg.): Empirische Sozialforschung und gesellschaftliche Praxis. Bedingungen und Formen angewandter Forschung in den Sozialwissenschaften . Opladen , 113-133.
ZIMMER, G. (2005): Erfolg durch Diskurs. Konzeptualisierung virtueller Lernorte. In: Weiterbildung, H. 5, 12-15.
ZIMMER, G. / DIPPL, Z. (2003): Beurteilung der Kompetenzentwicklung – Probleme, Fragen und Kriterien handlungsorientierter Prüfungen . In: ELSTER, F./ DIPPL, Z./ ZIMMER, G. (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements . Bielefeld , 5-23.
ZIMMER, G. / PSARALIDIS, E. (2000): "Der Lernerfolg bestimmt die Qualität einer Lernsoftware!" Evaluation von Lernerfolg als logische Rekonstruktion von Handlungen . In: SCHENKEL, P./ TERGAN, S.-O./ LOTTMANN, A. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand . Nürnberg , 262-303.
online seit: 15.12.2008
