Evaluation der betrieblichen Praxis im Modellversuch VAmB: Kompetenzmessungen bei Auszubildenden mit Lernschwierigkeiten

Einführung

VAmB steht für „Verzahnte Ausbildung mit Berufsbildungswerken“. Es handelt sich um einen Modellversuch zur Erstausbildung behinderter junger Menschen, der von 2005 bis 2009 von einem Wissenschaftlerteam am Institut für Berufs- und Wirtschaftspädagogik der Universität Hamburg (Projektleitung Wolfgang Seyd) formativ und summativ evaluiert wurde. Die verzahnte Ausbildung sieht vor, dass die auf dem Ausbildungs- und Arbeitsmarkt benachteiligten Jugendlichen aus den Berufsbildungswerken (BBW) einen Teil ihrer Ausbildung, je nach Beruf etwa 8 bis 20 Monate, in mit den Berufsbildungswerken kooperierenden Betrieben absolvieren. Während der betriebspraktischen Phase bleiben die Jugendlichen aber Auszubildende des jeweiligen BBWs und erhalten dort weiterhin die notwendigen Unterstützungs- und Fördermaßnahmen.
Ursprünglich trug der Modellversuch den Namen VAMB mit einem großem „M“. Dieses Kürzel stand für „Verzahnte Ausbildung METRO Group und Berufsbildungswerke“. Allein der Berufsbereich Handel und Verkauf wurde zunächst von den am Modellversuch beteiligten Berufsbildungswerken als verzahnte Ausbildung angeboten. 2007 wurde VAMB zu VAmB, und zu der METRO Group als Hauptkooperationspartner der Berufsbildungswerke gesellten sich fast 160, überwiegend klein- und mittelständische Betriebe. Neben der kaufmännischen Ausbildung öffnete sich die verzahnte Ausbildung für die Berufsbereiche Hauswirtschaft, Gastronomie, Logistik sowie Garten- und Landschaftsbau. 2009 wurde die verzahnte Ausbildung zu einem Regelangebot der Berufsbildungswerke und wird für fast alle Berufsfelder angeboten. Zugleich endete die wissenschaftliche Begleitung des Modellversuchs mit einer abschließenden Fachtagung im Berufsbildungswerk Essen (vgl. den Tagungsband von SEYD/ PECHTOLD u.a. 2009).
Die Projektpartner gingen davon aus, dass sich durch die betriebliche Praxisphase, die Chancen der Jugendlichen auf Integration in den 1. Arbeitsmarkt erhöhen. Das Arbeiten und Lernen direkt in den Unternehmen sollte zur Verbesserung der beruflichen Handlungskompetenz und der Beschäftigungsfähigkeit der Auszubildenden beitragen. Trotz der von den Projektpartnern vereinbarten verbindlichen Standards zur Gestaltung der betriebsnahen Ausbildung (vgl. NOPPENBERGER 2008) gab es Unterschiede von Unternehmen zu Unternehmen und von Berufsbildungswerk zu Berufsbildungswerk in der Umsetzung der verzahnten Ausbildung. Gemeinsame Ausbildungspläne von Betrieben und Berufbildungswerken für verschieden Berufe wurden zudem erst im Laufe des VAmB-Projektes erarbeitet. Die Diskrepanzen in der konkreten Umsetzung der betrieblichen Lernphase belegt die Untersuchung der Förderpläne in den an VAmB beteiligten Berufsbildungswerken (vgl. VOLLMERS/ SCHULZ 2010). In allen Förderplänen standen die Fach-, Methoden-, Selbst- und Sozialkompetenzen im Mittelpunkt. Hinsichtlich der Zielrichtung verschiedener Fördermaßnahmen und der formalen Qualität der Förderplandokumente zeigten sich jedoch beträchtliche Unterschiede.
Die Kompetenzmessung war ein Teil der Evaluation des Modellversuchs durch die wissenschaftliche Begleitung (vgl. VOLLMERS 2009 zu den anderen Arbeitsbereichen). Die besondere Bedeutung der Kompetenzuntersuchung in VAmB lag zum einen darin, Verfahrend der Kompetenzdiagnostik als relativ neue Instrumente der pädagogischen Diagnostik an den Berufsbildungswerken bekannt zu machen und dort dauerhaft in der Rehabilitations- und Förderdiagnostik zu etablieren. Zum anderen ging es darum, empirisch-methodische Konzepte zu umreißen, wie handlungsbasierte, fachübergreifende Kompetenzmessverfahren als wissenschaftliche Evaluationsinstrumente grundsätzlich in der beruflichen Rehabilitation und der Berufspädagogik sinnvoll eingesetzt werden können.
Zwischen 1999 und 2004 wurde, mit der Bereitstellung entsprechender Mittel durch die Politik, eine Reihe von handlungsorientierten Kompetenzdiagnostikinstrumenten für den Bereich der Berufsvorbereitung und Berufsförderung entwickelt (vgl. zu dieses Instrumenten die Expertise von ENGGRUBER/ BLECK 2005, in Kurzform auch BLECK/ ENGGGRUBER 2008a). Ziel der Politik war es, mit diesen neuen Instrumenten zum einen den Berufsfindungsprozess benachteiligter Jugendlicher zu erleichtern und zum anderen die Förder- und Unterstützungsmaßnahmen für diese Jugendlichen direkt in der Berufsvorbereitung und Berufsausbildung zu verbessern.
Unter diesen Instrumenten war auch das in VAmB eingesetztes Verfahren Profil-AC (www.profil-ac.de). Ergebnisse zum Kompetenzstatus und zur Kompetenzentwicklung größerer Stichproben aus der Zielgruppe der benachteiligten Jugendlicher auf dem Arbeitsmarkt liegen aber, abgesehen von einer Ausnahme (BLECK/ ENGGRUBER 2008b), bisher noch nicht vor. Insofern beschritt die wissenschaftliche Begleitung in VAmB mit ihrer handlungsorientierten Kompetenzuntersuchung in der beruflichen Rehabilitation empirisches Neuland.
Bevor die Ergebnisse dargestellt werden, wird im Folgenden zunächst das methodische Konzept der VAmB-Kompetenzuntersuchung umrissen. Dies geschieht in Abgrenzung zu der in der Erziehungswissenschaft und der Berufspädagogik vorherrschenden, tendenziell eher curricular-normativ ausgerichteten Form der Kompetenzmessung, soweit diese auf Item-Response-Modellen beruht.

1 Die Methodik curricular-normativ ausgerichteter Kompetenzuntersuchungen

Im letzten Jahrzehnt ist in der Erziehungswissenschaft und in der Berufspädagogik die Durchführung von Kompetenzuntersuchungen bei Schülern/innen, Auszubildenden und Studierenden eine anerkannte und gängige Form der Evaluation geworden. Einerseits soll damit die Lernausgangslage vor Bildungsmaßnahmen bestimmt werden, andererseits sollen die aus ihnen resultierenden Lernerfolge ermittelt werden. Theoretisch und auch methodisch sind dabei unterschiedliche Akzentuierungen möglich, da es verschiedene Perspektiven und unterschiedliche Erkenntnisziele in Hinsicht auf die Kompetenzen von Lernenden in Bildungsprozessen gibt.
Ingesamt überwiegt in der quantifizierenden Kompetenzforschung in der Erziehungswissenschaft und in der Berufspädagogik deutlich ein normativer und modellierender Forschungszugang. Diese Form der Kompetenzmessung prüft, inwieweit die in einem Curriculum definierten Lehr- und Lernziele unmittelbar empirisch messbare Anknüpfungspunkte in den kognitiven Strukturen der Lernenden finden oder nach Abschluss einer Bildungsmaßnahme gefunden haben. Das Vorgehen ist in etlichen Lehrtexten beschrieben worden (z.B. HARTIG/ KLIEME 2006). Die typische Abfolge der Untersuchungsschritte ist:
-    Analyse der im Curriculum eines Bildungsganges formulierten Lehr- und Lernziele,
-    Modellierung von dazu passenden Wissens- bzw. Kompetenzaspekten,
-    Konstruktion daraus abgeleiteter Testaufgaben,
-    Durchführung des gesamten Aufgabensets in der untersuchten Personengruppe,
-    Ermittlung der statistischen Schwierigkeitsgrade bzw. der Lösungswahrscheinlichkeiten der Testaufgaben,
-    Modellierung von Kompetenzniveaustufen ausgehend von den errechneten Lösungswahrscheinlichkeiten,
-    Ermittlung der Verteilungen bezüglich der Anzahl richtiger Lösungen – und damit der Kompetenzniveaus - in der untersuchten Stichprobe.

Paradigmatisch für diese Methodik stehen natürlich die PISA-Studien (FREY/ TASKINEN/ SCHÜTTE/ PISA-KONSORTIUM DEUTSCHLAND 2009), auch wenn bei den PISA-Untersuchungen kein konkretes Curriculum als Vorgabe fungierte. Ein Beispiel dieses curricular-normativ ausgerichteten Vorgehens in der Berufspädagogik ist die Kompetenzmessung im Hamburger Modellversuch ULME (Untersuchung der Lernstände, Motivation und Einstellungen am Beginn der beruflichen Ausbildung bzw. am Ende der teilqualifizierenden Bildungsgänge an Berufsfachschulen) an verschiedenen Gruppen von Berufsschülern an 17 Berufsschulen. Schwerpunkt war das Berufsfeld Wirtschaft und Verwaltung. Grundlegende kognitive Prozesse eines sich Wissen aneignenden Individuums (BRAND/ HOFMEISTER/ TRAMM 2005) wurden als beruflich relevante Wissensformen und Leistungen modelliert (HOFMEISTER 2005). Vor diesem Hintergrund entwickelten die Wissenschaftler/innen mittels statistischer Analysen einen Pool berufsfeldspezifischer Multiple-Choice-Aufgaben. Mit Bezug auf die Antworthäufigkeiten in der untersuchten Stichprobe von Hamburger Berufsschülern lassen sich unter Verwendung des Item-Response-Verfahrens Kompetenzniveaustufen für das untersuchte Berufsfeld modellieren (SEEBER 2005).
Die statistische Konstruktions- und Verfahrenslogik dieser Form der Kompetenzuntersuchung entspricht in vielen Schritten der psychologischen Intelligenzforschung, auch wenn in der pädagogischen Kompetenzforschung zur statistischen Einordnung der gemessenen Testwerte Item-Response-Modelle an die Stelle der klassischen Testtheorie rücken. Diese Form der Kompetenzforschung beruft sich oft auf die statistischen Konzepte psychologischer Leistungs- und Intelligenztests und die dabei angewendeten statistischen Analysemethoden. Und sie orientieren sich an den in der psychologischen Testtheorie formulierten klassischen Gütekriterien der Objektivität, Reliabilität und Validität und berechnen sie auf ähnliche Art und Weise (vgl. HARTIG/ JUDE 2007, 19f.).
Normativ ausgerichtete Kompetenzuntersuchungen gehen in erster Linie von den curricular geforderten Ansprüchen an die Kompetenz- und Wissensentwicklung der Lernenden aus. Sie nehmen diese als Maßstab, um Modelle, Normen und Standards der Kompetenzmessung zu bestimmen, um die untersuchten Personen, oder auch verschiedene Bildungsinstitutionen oder ganze Bildungssysteme, quantitativ, oft im Sinne einer Rangordnung, miteinander zu vergleichen. Damit rückt diese Form der Kompetenzmessung bei Lehr-Lern-Prozessen letztlich die Perspektive der Bildungsinstitutionen bzw. deren Curricula in den Vordergrund: „Die Produktivität von Bildungssystemen, die Qualität einzelner Bildungseinrichtungen und der Lernerfolg von Individuen soll messbar gemacht werden, um Bildungsprozesse besser lenken zu können“ (KLIEME/ MAAG-MERKI/ HARTIG 2007, 8).
Die perspektivische Verengung dieses Ansatzes besteht darin, dass individuelle Lernprozesse und Lernerfolge, die nicht durch das Curriculum definiert werden, gleichwohl aber in der Perspektive der Lernenden oder der Lehrenden erlebte Realität sind, in der Kompetenzmessung keine ausreichende Berücksichtigung finden. Was jenseits des fest geschriebenen Curriculums bei den Betroffenen an Lern- oder Persönlichkeitsentwicklung stattfindet, das bleibt der normativen Kompetenzmessung größtenteils verborgen.

2 Das explorative Konzept der Kompetenzmessung in VAmB

Die Kompetenzmessung in VAmB unterscheidet sich konzeptionell von der soeben skizzierten normativen Form vor allem in dreierlei Hinsicht: Erstens ist sie stärker explorativ, d.h., sie ist weniger auf curricular erwartete Lernprozesse orientiert, sondern interessiert sich mehr für unerwartete, informelle Lernprozesse. Zweitens untersucht sie berufsfeldübergreifende Kompetenzen anstatt berufsfeldspezifisches Wissen zu modellieren. Und drittens schließlich ist der Maßstab der Messung nicht naturwissenschaftlich. Er ist nicht unmittelbar im Messinstrument inkorporiert, sondern er bestimmt sich über den Konsens verschiedener Beobachter/innen bzw. Beurteiler/innen, die sich über ihre Einschätzungen zu den Kompetenzen der Jugendlichen verbal austauschen und sich einigen. Es ist also ein konsensueller Maßstab.
Zu erstens: Mit ihrer eher explorativen Orientierung verfolgt die VAmB-Kompetenzmessung das Ziel, Kompetenzaspekte in den Blick zu nehmen, die nicht vorab curricular im Ausbildungsplan definiert sind, doch für beruflichen Erfolg bedeutsam sein können. Damit nimmt sie Anregungen aus der qualitativen Sozialforschung auf. In seinem „Umriss zu einer Methodologie qualitativer Sozialforschung“ formulierte Gerhard KLEINING (1982/2003) als Grundsatz einer explorativen, heuristischen Forschungsstrategie, dass ein Forschungsgegenstand nicht vorab definiert oder modelliert werden sollte, um den Forschungsprozess ergebnisoffen zu gestalten und um unterschiedliche Perspektiven der Akteure im Feld zu berücksichtigen (KLEINING 1982/2003, 9 f.). Deshalb wurde in der VAmB-Kompetenzmessung das Hauptgewicht auf die Perspektive des an der Ausbildung der Jugendlichen beteiligten Fachpersonals der Berufsbildungswerke gelegt und auch der Perspektive der betroffenen Jugendlichen über Selbsteinschätzungen ihrer Kompetenzen Rechnung getragen.
Zu zweitens: Berufsfeldübergreifende Kompetenzaspekte wurden mit der Kompetenzuntersuchung in VAmB evaluiert, weil die Praxis in den Betrieben während des Modellversuchs VAmB in erster Linie auf übergreifende Ausbildungsziele ausgerichtet war. Die Projektpartner im Modellversuch VAmB definierten als Zweck der Ausbildungsphase im Betrieb, dass die Jugendlichen in erster Linie ihre berufliche Handlungskompetenz und ihre Beschäftigungsfähigkeit ausbauen (SEYD/ SCHULZ/ VOLLMERS 2007). Die fachspezifische Ausbildung und Förderung wurde dagegen weiterhin überwiegend durch das Berufsbildungswerk geleistet.
Zu drittens: Die Ergebnisse der VAmB-Kompetenzuntersuchung zu den Aspekten der allgemeinen beruflichen Handlungskompetenz beruhen auf Beobachterurteilen. Assessment-Center im Bereich der Berufsvorbereitung und Benachteiligtenförderung, wie das in VAmB eingesetzte Verfahren, zeichnen sich generell dadurch aus, dass an den verschiedenen Stationen Fremdeinschätzungen von trainierten Beobachtern/innen, aber auch Selbsteinschätzungen der Teilnehmenden, erhoben werden. Das wird in entsprechenden Synopsen als wichtiges Qualitätsmerkmal der AC-Verfahren im Bereich der Berufsfindung und Berufsvorbereitung herausgestrichen (z.B. SCHAUB 2005, 14, INBAS 2008, 4f.). Auf diese Weise wird der Expertise der unmittelbar im Ausbildungsfeld handelnden Personen besonderes Gewicht bei der Kompetenzeinschätzung gegeben.

3 Das Design der VAmB-Kompetenzmessung

Die Kompetenzmessung im Modellversuch fand für die untersuchten Jugendlichen zweimal, jeweils unmittelbar vor der Ausbildungsphase im Unternehmen und direkt am Ende derselben statt. Näherungsweise kann die Untersuchungsanlage als einfaches quasi-experimentelles Prä-Post-Design ohne Kontrollgruppe bezeichnet werden, das in der empirischen Bildungsforschung zur Überprüfung der Effekte pädagogischer Trainings oder der Wirkung spezieller Unterrichtsformen verwendet wird (vgl. SCHREIER 2007, 331f.). Allerdings handelte es sich bei der betriebspraktischen Phase in VAmB nicht um eine spezifisch wirkende Ausbildungs- oder Unterrichtsmaßnahme. Vielmehr überlagern sich pädagogische Einflüsse auf die Jugendlichen aus mindestens drei parallelen Lernorten. Neben den überwiegend informellen, nur teilweise pädagogisch angeleiteten Lernprozessen im Betrieb, wurden die VAmB-Auszubildenden während der verzahnten Ausbildung im Berufsbildungswerk weiterhin durch gezielte Fördermaßnahmen unterstützt und nahmen auch am fachspezifischen Unterricht im Berufsbildungswerk oder in der Berufsschule teil.
Bei der Bewertung der Kompetenzentwicklung der Jugendlichen in der verzahnten Ausbildung ist also von einer komplexen Wechselwirkung verschiedener Lernerfahrungen der Jugendlichen auszugehen. Keineswegs sind die Ergebnisse zur Kompetenzentwicklung am Ende der verzahnten Ausbildung allein auf die betriebspraktische Phase zurückzuführen. Eine Kausalität der betriebsnahen Ausbildung in der Wirkung auf eine positive oder negative Kompetenzentwicklung wird in dieser Studie nicht postuliert. Die Rahmenbedingungen des VAmB-Projekts, in dem Inhalte, didaktische Form und Förderkonzept in der betrieblichen Lernphase erst allmählich ausgestaltet wurden, ließen kein kontrolliertes Design von Versuchs- und Kontrollgruppe zu. Kausale Wirkungen konnten somit nicht untersucht werden.

4 Aufgaben und Beurteilungsbögen im Assessment-Center in VAmB

Die Kompetenzmessung wurde 2005 zu Beginn der wissenschaftlichen Begleitung des Modellversuchs konzipiert, als der Verkaufsbereich das einzige Berufsfeld in der verzahnten Aubsildung war. Aus dem modularisierten AC-Verfahren Profil-AC (zu dessen Konzept BREISACHER 2009, zu den Materialien KENN/ RIBEIRO u.a. 2003) wurden Aufgaben ausgewählt, welche die Projektbeteiligten als relevant für dieses Berufsfeld ansahen. Es waren solche, in denen die Sozialkompetenzen eine große Rolle spielten. Daneben wurden auch Leistungstests zu den Kulturtechniken (Deutsch und Rechnen) durchgeführt sowie mehrere Leistungsprüfungen aus dem Verfahren hamet2 (www.hamet.de ), bei denen es um motorische Routinetätigkeiten und Auffassungsgeschwindigkeit am Computer ging. Mitgeteilt werden im Folgenden allein die Ergebnisse der Aufgaben aus Profil-AC, die auf den Beobachterurteilen zur Allgemeinen beruflichen Handlungskompetenz (Fach- bzw. Sachkompetenzen, Methodenkompetenzen, Selbstkompetenzen sowie Sozialkompetenzen) fußen.
Die Werte der Beobachterurteile beziehen sich auf insgesamt vier verschiedene Stationen des Assessment-Centers, das jeweils zwei halbe Tage, zusammen etwa 10 Stunden, dauerte.

1.    Gruppenaufgabe WG Planung: Die Auszubildenden müssen in einer Gruppe von drei bis fünf Personen den gemeinschaftlichen Bezug einer Wohnung planen und verschiedene Vereinbarungen treffen. Bei der Wiederholungstestung am Ende der verzahnten Ausbildung wurde stattdessen eine Reise geplant.
2.    Gruppenaufgabe Turmbau: Die Auszubildenden sollen in einer Gruppe von drei bis fünf Personen gemeinsam ein turmähnliches Gebäude aus Papier basteln. Bei der Wiederholungstestung wurde stattdessen ein Registerkasten mit Karten aus Pappe konstruiert.
3.    Fachspezifisches Rollenspiel Verkauf: Ein Kunde, gespielt von einer/m Mitarbeiter/in des Berufsbildungswerkes, möchte ein Sonderangebot kaufen, das nicht mehr verfügbar ist. Der Verkäufer, gespielt vom zu beurteilenden Auszubildenden, soll ein teureres Produkt anbieten und verkaufen.
4.    Arbeitsverhalten bei den Aufgaben aus dem hamet2: Bei diesen Tests mit Material aus einer Werkstatt (manuelle Routine) und am Computer (Instruktion) mussten die Jugendlichen ihren Arbeitsplatz selbst organisieren und aufräumen. Dabei wurden sie von Beobachtern beurteilt.

Die Details zum Verlauf der gesamten Kompetenzuntersuchung sind in anderen Veröffentlichungen der wissenschaftlichen Begleitung des Modellversuchs VAmB ausführlich dargestellt (VOLLMERS 2008 und 2007). Während der genannten vier Stationen des Assessment-Centers wurde jede/r Jugendliche von insgesamt zwei bis vier vorher geschulten Beobachtern/innen an Hand eines Beurteilungsbogen zu den vier Kompetenzbereichen, also Fach- bzw. Sachkompetenzen, Selbstkompetenzen, methodische Kompetenzen und Sozialkompetenzen, eingeschätzt. Die Beobachter/innen füllten zu jeder der vier Stationen jeweils einen Beobachtungsbogen aus. Anschließend erstellte jede/r Beobachter/in daraus wiederum einen Gesamtbogen zur Beurteilung der von ihr/ihm beobachteten Jugendlichen. In einer abschließenden Beobachterkonferenz besprachen die Beobachter/innen ihre Gesamtwerte für alle Jugendlichen und füllten jeweils einen gemeinsamen Beobachtungsbogen für jeden Jugendlichen aus. Dieser Gesamtbeurteilungsbogen wurde der wissenschaftlichen Begleitung zugesandt und stellt die Grundlage für die in diesem Artikel mitgeteilten Forschungsergebnisse dar.


 
Abb. 1:    Von den Einzelbeobachtungen zur Gesamtbeurteilung
Beurteilt wurden die Jugendlichen an allen vier Stationen des Assessment-Centers auf allen Beurteilungsdimensionen anhand einer einheitlichen 5-stufigen Skala. Die Werte 1 und 2 zeigen einen Förderbedarf für die entsprechenden Kompetenzaspekte an.

Tabelle 1:           Einheitliche 5er-Skala auf allen Beurteilungsbögen

 
Der Gesamtbeobachtungsbogen umfasste insgesamt 27 Aussagen, alle mit dieser 5-stufigen Skala (der Gesamtbeurteilungsbogen ist im Handbuch von KENN/ RIBEIRO/ GÜNERT et al. 2003). Für jede dieser 27 Aussagen liegt eine inhaltlich spezifische qualitative Umschreibung der fünf Skalenpunkte vor, wie es Tabelle 2 beispielhaft für die Dimension Kontaktfähigkeit aufzeigt.

Tabelle 2:           Beispiel der Skalenpunkte für die Aussage „Kontaktfähigkeit“

Die fünf Skalenstufen sind von den Beobachtern durchgeführte diagnostische Klassifikationen, die eine Rangreihe bilden. In der Skalierung handelt es sich um eine Ordinalskala von Beobachtereinschätzungen, was dementsprechend für die statistischen Analysen der Daten zu berücksichtigen ist (vgl. WIRTZ 2004).
Vor dem Hintergrund der qualitativen Beschreibung kam der Schulung der Beobachter/innen, welche die Kompetenzen der Jugendlichen einzuschätzen hatten, natürlich besondere Bedeutung zu. Die Güte der Beurteilung bei Assessment-Centern steht und fällt mit der Kompetenz der eingesetzten Beobachter/innen. Die entsprechenden Schulungen dauerten zwei Tage. Anfangs führte das Entwicklungsteam des Verfahrens Profil-AC des Christlichen Jugenddorfs Deutschland aus Offenburg die Schulungen durch. Als sich in der zweiten Projektphase ab 2007 neue Berufsbildungswerke am Modellversuch VAmB beteiligten, gestaltete die Beobachterschulungen in diesen BBWs die wissenschaftliche Begleitung.

5 Stichprobe der untersuchten Jugendlichen

Untersucht wurden in VAmB in der ersten Testrunde zwischen 2005 und 2009 insgesamt 188 Auszubildende mit Lerneinschränkungen an 14 Berufsbildungswerken in der Bundesrepublik Deutschland. Davon absolvierten 143 Jugendliche ihre Berufsausbildung im Bereich Handel. Aufgrund von Projektabbrüchen, Krankheit und Motivationsproblemen nahmen an der 2. Testrunde nur noch 110 Auszubildende aus dem Berufsfeld Verkauf teil.

 Tabelle 3:           Ausbildungsberufe im Bereich Handel in der VAmB-Kompetenzmessung

 
Die im Berufsfeld Handel untersuchten 143 Jugendlichen waren zum Zeitpunkt der ersten Testrunde zwischen 17 und 29 Jahre alt (Mittelwert = 19,6). Die weiblichen Ausbildenden waren gegenüber den jungen Männern ganz leicht in der Unterzahl (n = 70 zu n = 73). In den Berufsbildungswerken werden im kaufmännischen Bereich die Ausbildungsberufe Einzelhandelskauffrau/ -mann, Verkäufer/in und Verkaufshelfer/in angeboten. Die leistungsstärksten Jugendlichen erlernen den Beruf Einzelhandelskauffrau/ -mann, die leistungsschwächsten den Beruf Verkaufshelfer/in. Die Ausbildungen dauern zwei oder drei Jahre. Möglich ist für die Jugendlichen im BBW grundsätzlich auch ein „Aufstieg“ vom Verkaufshelfer zum Verkäufer und dann zum Einzelhandelskaufmann, so dass einzelne Jugendliche bis zu vier Jahren eine Verkaufsausbildung im Berufsbildungswerk bestreiten.

6 Empirische Ergebnisse

Es interessierte einerseits, in welchen Bereichen die Jugendlichen zu Beginn der Praxisphase Förderbedarf aufweisen und in welchen dies nicht der Fall sein würde. Dieser Untersuchungsaspekt richtete sich also auf die Lernausgangslage der VAmB-Auszubildenden. Andererseits wurde untersucht, wie sich durch die verzahnte Ausbildung die verschiedenen Kompetenzbereiche entwickeln. Kommt es zu einer positiven Entwicklung in verschiedenen Kompetenzaspekten? Vermindert sich der entsprechende Förderbedarf? Gibt es Kompetenzbereiche, die durch die verzahnte Ausbildung besonders stark beeinflussbar sind, andere hingegen nicht? All diese Fragen nehmen den durch die verzahnte Ausbildung erreichten Lernerfolg unter die Lupe.
Der Gesamtbeobachtungsbogen umfasst zu den vier Kompetenzbereichen insgesamt 27 Aussagen. Indes zeigte sich, dass nicht alle 27 Merkmale bei den 143 untersuchten Personen im Berufsfeld Handel im Assessment tatsächlich beobachtbar waren. Trotz der einheitlichen, standardisierten Testinstruktion zeigen alle Erfahrungen mit Assessment-Centern, dass Gruppenaufgaben und Rollenspiele, je nach Teilnehmerzusammensetzung, aufgrund der vielfältigen Möglichkeiten der Interaktion ganz unterschiedliche Dynamiken entwickeln. Konflikte kamen unter den VAmB-Jugendlichen in der Testung zum Beispiel fast gar nicht vor. Ganz selten wurde untereinander offen Kritik geäußert. Das Ansprechen von Konflikten und das angemessene Äußern von Kritik im Team, zwei zentrale Aspekte der Sozialkompetenzen, konnten daher, obwohl sie im Beobachtungsbogen vorgesehen waren, nicht in die Auswertung aufgenommen werden. Beobachtungsmerkmale, die in weniger als 100 der untersuchten Fälle vorkamen, wurden grundsätzlich von der Auswertung ausgeschlossen. So verringerte sich die Gesamtzahl der Aussagen, zu denen in ausreichender Anzahl Beurteilungen durch die Beobachter/innen vorliegen, von 27 auf 20 Aussagen. Die Verteilung über die vier Kompetenzbereiche ist wie folgt:

Tabelle 4:    Anzahl der Aussagen pro Kompetenzbereich:

6.1 Ergebnisse zur Lernausgangslage: Förderbedarf zu Beginn der betriebsnahen Ausbildung

Die Ergebnisse aus VAmB in den vier Bereichen Methoden-, Fach-, Sozial- und Selbstkompetenzen werden im Folgenden dargestellt und zur besseren Einordnung summarisch verglichen mit einer Stichprobe von Berufsschuleinmündern aus Südwestdeutschland (n = 305). Diese Gruppe nahm im Rahmen von Maßnahmen der Berufsvorbereitung und Berufsfindung in den Jahren 2002 und 2004 am Assessment mit Profil-AC teil. Die soziodemografischen Merkmale dieser Personengruppe werden nachfolgend kurz skizziert. Im Evaluationsbericht zu Profil-AC ist die Soziodemografie ausführlich dargestellt (vgl. KENN, BECK, BELOND u.a. 2005, 6f.). Bei der Schulbildung liegt diese Vergleichsgruppe mit einem Anteil von nur knapp 30 Prozent an Förderschülern/innen im Niveau über den VAmB-Jugendlichen. Der Anteil der Abiturienten/innen beträgt in dieser Vergleichsgruppe allerdings nur knapp 3 Prozent, so dass diese Vergleichsgruppe nicht das mittlere Niveau der Bildungsabschlüsse der Berufsschulbeginner im dualen System in Deutschland erreicht. Zum Vergleich: Im Berufsbildungsbericht für das Jahr 2007 wird der Anteil der Ausbildungsplatzbewerber/innen mit Fachhochschul- oder Hochschulreife für den Berichtszeitraum 2007 mit 15 Prozent angegeben (BERUFSBILDUNGSBERICHT 2007, 75, Fußnote 56).

6.1.1    Methodenkompetenzen der VAmB-Auszubildenden:

Die Methodenkompetenzen umfassen in Profil-AC die Aspekte Zielorientierung, Planungsorientierung, Problemlösefähigkeit und Ergebnisorientierung. Die folgende Tabelle fasst die Ergebnisse zusammen.

Tabelle 5:    Förderbedarf (Skalenwert 1 oder 2) der VAmB-Jugendlichen bei Methodenkompetenzen (Ergebnisse in Prozent) 

 
Der besten Ergebnisse, also den geringsten Förderbedarf, verzeichnen die VAmB-Jugendlichen bei der Aussage „Bleibt solange bei der Aufgabe, bis sie zur Zufriedenheit gelöst ist“. Den höchsten Förderbedarf, also das schlechteste Ergebnis, zeigt sich bei der Fähigkeit zum Erkennen und Lösen auftauchender Probleme.
Der mittlere Förderbedarf über alle Aufgaben hinweg liegt bei etwa 25 Prozent. Anders gesagt, für jeweils etwa ein Viertel der VAmB-Jugendlichen zeichnet sich massiver Unterstützungsbedarf in der betriebsnahen Ausbildung ab, soweit es um methodische Kompetenzen geht. Zum Vergleich: Bei der Vergleichsgruppe der Berufsschuleinmünder aus Südwestdeutschland liegt ein solcher Bedarf im Mittel nur bei 2 Prozent (vgl. KENN, BECK, BELOND u.a. 2005, 28 f.).

6.1.2    Fach- bzw. Sachkompetenzen der VAmB-Jugendlichen:

Zu den mit Profil-AC gemessenen Fach- bzw. Sachkompetenzen gehören die Aspekte Durchhaltevermögen, Sorgfalt und Ordnungssinn. Diese drei Merkmale sind letztlich auch überfachlich gemeint. Die Kategorisierung dieser Merkmale unter dem Terminus Fachkompetenzen ist insofern unpassend, wurde aber in VAmB beibehalten, um nicht Verwirrung unter den Anwendern von Profil-AC zu stiften. Die folgende Tabelle zeigt die Ergebnisse.

Tabelle 6:    Förderbedarf (Skalenwert 1 oder 2) der VAmB-Jugendlichen bei Fach- und Sachkompetenzen (Ergebnisse in Prozent) 

  
Der mittlere Förderbedarf beträgt bei den übergreifenden Fachkompetenzen 17,5 Prozent. Damit liegt er unter dem Wert für die Methodenkompetenzen. Zum Vergleich: Die Gruppe der Berufsschuleinmünder aus Baden-Württemberg hat hier fast keinen Förderbedarf. Nur 0,3 Prozent dieser Gruppe erreichen auf den Beobachterskalen die Werte 1 oder 2 (vgl. KENN, BECK, BELOND u.a. 2005, 48 f.).

6.1.3    Sozialkompetenzen der VAmB-Jugendlichen

Zu den in VAmB gemessenen Sozialkompetenzen gehören in Profil-AC die Aspekte Kontaktfähigkeit, Kommunikationsfähigkeit, Kritikaufnahme, Durchsetzungsfähigkeit, Teamfähigkeit und Einfühlungsvermögen. Die folgende Tabelle stellt die Ergebnisse vor.

Tabelle 7:    Förderbedarf (Skalenwert 1 oder 2) der VAmB-Jugendlichen bei Sozialkompetenzen (Ergebnisse in Prozent)

Durchsetzungsfähigkeit und die Fähigkeit, Kritik anzunehmen – bei diesen beiden Aspekten sozialer Kompetenzen haben die Auszubildenden in VAmB mit 37 bzw. 40 Prozentanteil in den Skalenwerten 1 oder 2 den größten Nachholbedarf. Zuhören und mit anderen kooperieren, das können die Jugendlichen dagegen schon recht gut. Insgesamt ist der Unterstützungsbedarf in den Sozialkompetenzen, verglichen mit den anderen drei Kompetenzbereichen, am größten. Er liegt über alle sieben Aussagen zu den Sozialkompetenzen hinweg bei etwa 28 Prozent. Zum Vergleich: Die Gruppe der Berufsschuleinmünder hat mit 26 Prozent gleichfalls einen beachtlichen Nachholbedarf (vgl. KENN, BECK, BELOND u.a. 2005, 93f.). Auch gleichaltrige Jugendliche ohne Behinderungsdiagnose haben zu Beginn ihrer Ausbildung Schwierigkeiten mit Kooperation, Kommunikation, Kritikfähigkeit und Einfühlungsvermögen.

6.1.4 Selbstkompetenzen der VAmB-Auszubildenden

Zu den in VAmB gemessenen Selbstkompetenzen gehören in Profil-AC die Aspekte Selbstkontrolle, Konzentration, Flexibilität und persönliche Hygiene.

Tabelle 8:    Förderbedarf (Skalenwert 1 oder 2) der VAmB-Jugendlichen bei Selbstkompetenzen (Ergebnisse in Prozent)

 
Bei den Selbstkompetenzen liegt der mittlere Förderbedarf bei 21,5 Prozent. Der entsprechende Wert bei den Berufsschuleinmündern beläuft sich im Übrigen auf 11 Prozent (vgl. KENN, BECK, BELOND u.a. 2005, 103 f.).

6.1.5 Fazit zur Lernausgangslage vor der verzahnten Ausbildung

Vor Eintritt in die verzahnte Ausbildung zeigte sich in der Kompetenzuntersuchung, dass etwa ein Drittel der Jugendlichen massiven Förderbedarf aufweist und während der betrieblichen Phase unbedingt auf die Unterstützung des Fachpersonals in den Berufsbildungswerken angewiesen sein wird. Dieses Ergebnis der Kompetenzeinschätzungen in Profil-AC kommt nicht überraschend, da bei allen Jugendlichen vor Beginn ihrer Ausbildung am BBW eine Lernbehinderung diagnostiziert wurde. Bei etwa einem Drittel kommen weitere Diagnosen, vor allem zu körperlichen oder psychischen Beeinträchtigungen, hinzu.
Positiv ist festzuhalten, dass in allen 20 Aussagen mit Beobachterurteilen jeweils mehr als die Hälfte der getesteten Jugendlichen die durch die Profil-AC-Untersuchung gesetzten Anforderungen in ausreichendem Maße erfüllt, also Skalenwerte von 3 bis 5 erzielte. Von der Mehrzahl dieser Jugendlichen war zu erwarten, dass sie die folgende betriebsnahe Ausbildung erfolgreich bewältigen würden. Tatsächlich lag die Projektabbruchrate der 143 in der ersten Testrunde untersuchten Jugendlichen im Berufsfeld Verkauf dann auch nur bei 10%. Die Quote an Projektabbrüchen in VAmB insgesamt, also einschließlich der Jugendlichen in den anderen vier Berufsfeldern, die nicht an der Kompetenzmessung teilnahmen, liegt im Übrigen bei 20 Prozent (SCHULZ 2009, 64). Die Mehrheit der Jugendlichen beendete ihre Ausbildung am BBW dennoch erfolgreich. Komplette Ausbildungsabbrüche kamen nur in 6 Prozent der Fälle vor.
Die Ergebnisse zur Lernausgangslage sind in den Sozialkompetenzen unter den vier Kompetenzbereichen am schwächsten. In dieser Hinsicht entsprachen die VAmB-Auszubildenden den von CJD Offenburg mit Profil-AC untersuchten Berufsschulanfängern in Südwestdeutschland (s.o.). Indes galten für die Projektpartner in VAmB gerade die Sozialkompetenzen der Jugendlichen mit der angestrebten Ausbildung im Verkaufsbereich als besonders wichtig. Die Projektverantwortlichen gingen davon aus, dass in den Betrieben im Kundenkontakt gerade die Sozialkompetenzen bei den VAmB-Jugendlichen immer wieder gefordert sein werden und in der Folge sich auch verbessern würden. Für die zweite Messung, die am Ende der verzahnten Ausbildung stattfand, stellte sich die Frage, ob sich in diesem Kompetenzbereich tatsächlich Verbesserungen, also ein zahlenmäßiger Rückgang des Förderbedarfs, zeigen würde.

6.2 Die Ergebnisse zum Lernerfolg: Ein Vergleich der 1. und 2. Testrunde

Im Folgenden werden die Ergebnisse zum Vergleich der ersten und zweiten Messung dargestellt, abermals getrennt nach den vier Kompetenzbereichen und erneut als Prozentwerte. Ein geringer Prozentwert bei der 2. Testung bedeutet einen Rückgang des Förderbedarfs bzw. eine Verbesserung der Leistung in Profil-AC nach Einschätzung der Beobachter/innen.
Berücksichtigt wurden für diesen Vergleich allein die Fälle, von denen Testwerte in beiden Runden vorliegen. Das sind 110 Jugendliche. Von den 143 untersuchten Jugendlichen in der ersten Testrunde im Berufsfeld Verkauf konnten leider 33 aufgrund von Projektabbrüchen, Krankheit oder aus Gründen der Ausbildungsorganisation nicht an der 2. Testrunde teilnehmen.

6.2.1Entwicklung der Methodenkompetenzen der VAmB-Jugendlichen

Die folgende Tabelle fasst die Ergebnisse zur Kompetenzentwicklung in diesem Bereich - Zielorientierung, Planungsorientierung, Problemlösefähigkeit und Ergebnisorientierung- zusammen.

Tabelle 9:    Entwicklung der Methodenkompetenzen der VAmB-Jugendlichen (Prozentwerte des gemessenen Förderbedarfs)

Hier ist die Tendenz der Kompetenzentwicklung uneinheitlich. Während sich die Jugendlichen in den beiden Aspekten Zielorientierung und Ergebnisorientierung gesteigert haben, die Anzahl der niedrigen Skalenwerte 1 oder 2 also rückläufig ist, kehrt sich diese Tendenz bei der Planungs- und der Problemlösefähigkeit genau um. Insgesamt scheinen die Jugendlichen in ihrer Entwicklung der Methodenkompetenzen zu stagnieren.

6.2.2 Entwicklung der Fachkompetenzen der VAmB-Jugendlichen

Die nachfolgende Tabelle stellt die Aspekte der Fachkompetenz – Durchhaltevermögen, Sorgfalt und Ordnungssinn – vor.

Tabelle 10:    Entwicklung der Fachkompetenzen der VAmB-Jugendlichen (Prozentwerte des gemessenen Förderbedarfs)

 
Durchgängig zeigen sich in allen drei Aspekten leichte Verbesserungen in den Ergebnissen. Der Förderbedarf hat in den Fachkompetenzen bei den Jugendlichen im Mittel leicht abgenommen.

6.2.3 Entwicklung der Sozialkompetenzen der VAmB-Jugendlichen

Zu den in VAmB gemessenen Sozialkompetenzen gehören in Profil-AC die Aspekte Kontaktfähigkeit, Kommunikationsfähigkeit, Kritikaufnahme, Durchsetzungsfähigkeit, Teamfähigkeit und Einfühlungsvermögen. Die folgende Tabelle zeigt die Ergebnisse.

Tabelle 11:    Entwicklung der Sozialkompetenzen der VAmB-Jugendlichen (Prozentwerte des gemessenen Förderbedarfs) 

Markante Steigerungen, also eine deutliche Abnahme des gemessenen Förderbedarfs, zeigen die VAmB-Jugendlichen in der Durchsetzungsfähigkeit und im Einfühlungsvermögen. In der Kontaktfähigkeit sind leichte Verbesserungen zu erkennen, bei den restlichen vier Aussagen bleiben die gezeigten Testleistungen nahezu konstant. Über alle Aussagen hinweg geht der Förderbedarf von insgesamt 26,5 Prozent in der ersten Testung auf 20,9 Prozent in der zweiten zurück. Insgesamt haben sich die Jugendlichen in ihren sozialen Kompetenzen am Ende der verzahnten Ausbildung also leicht verbessert.

6.2.4 Entwicklung der Selbstkompetenzen der VAmB-Jugendlichen

Zu den gemessenen Selbstkompetenzen gehören Selbstkontrolle, Konzentration, Flexibilität und das äußere Erscheinungsbild.

Tabelle 12:    Entwicklung der Selbstkompetenzen der VAmB-Jugendlichen (Prozentwerte des gemessenen Förderbedarfs)

Durchgängig zeigen die VAmB-Jugendlichen in allen Bereiche der Selbstkompetenzen Verbesserungen. Der Förderbedarf ging um 8 bis 11 Prozentpunkte zurück.

6.3 Fazit zu den Ergebnissen der Kompetenzentwicklung in VAmB

Insgesamt zeigen die untersuchten VAmB-Auszubildenden am Ende der verzahnten Ausbildung leichte Verbesserungen in den Sozialkompetenzen, Fachkompetenzen und Selbstkompetenzen. In den Methodenkompetenzen wurden dagegen keine Steigerungen beobachtet. Die statistische Signifikanz der Unterschiede zwischen den Ergebnissen aus der ersten und zweiten Testrunde wurde mit der Prüfgröße Chi-Quadrat getestet. Die beiden Werte „Förderbedarf vorhanden“ und „kein Förderbedarf“ lassen sich mit den beiden Testrunden in einer Vierfeldertafel abtragen. Da es sich um eine abhängige bzw. verbundene Stichprobe in den beiden Testrunden handelt, kam der McNemar-Test zum Einsatz (vgl. NACHTIGALL/ WIRTZ 2006, 167). Die Nullhypothese, dass sich die Häufigkeiten in der ersten und zweiten Testrunde nicht unterscheiden, musste bei allen untersuchten Merkmalen beibehalten werden. Die gemessenen Verbesserungen der Jugendlichen sind also statistisch nicht signifikant.
Die in VAmB gemessenen Kompetenzentwicklungen mit Profil-AC im Prä-Post-Vergleich stimmen teilweise mit den Ergebnissen von BLECK/ENGGRUBER (2008b) überein, die mit dem gleichen Verfahren Teilnehmer von Maßnahmen der Berufsvorbereitung (BVB) untersucht haben. Beispielsweise sind die Jugendlichen in beiden Studien bei den Sozialkompetenzen im Merkmal „Durchsetzungsfähigkeit“ am schwächsten und verbessern sich bei der zweiten Messung gerade in diesem Merkmal beträchtlich. Im Übrigen zeigt sich in beiden Studien, dass es unter den vier Kompetenzbereichen bei den untersuchten Jugendlichen keinen gibt, der besonders affin ist für Veränderungen während der Ausbildung oder Berufsvorbereitung.
Bei einer Bewertung der Ergebnisse in VAmB ist zudem zu bedenken, dass die beiden Kompetenzmessungen in einem relativ kurzen zeitlichen Abstand erfolgten. Starke Verbesserungen in den vier Bereichen der allgemeinen beruflichen Handlungskompetenz, die schließlich eingebettet ist in die Entwicklung der Gesamtpersönlichkeit der untersuchten jungen Menschen, sind wohl auch mit optimaler Förderung eher nicht zu erreichen. Dennoch ermöglicht ein solches Vorgehen der Kompetenzerfassung, Auszubildende im praktischen Verhalten zu beobachten. Nicht das Wissen über Kompetenzen, sondern die Umsetzung in berufsbezogenen Situationen ist Gegenstand der Bewertung von Kompetenzen.

6.4 Grenzen der handlungsbasierten Kompetenzuntersuchung als Prä-Post-Messung

Die Prä-Post-Messung sollte die Kompetenzentwicklung bzw. den Lernerfolg verdeutlichen. Vor allem zwei Faktoren verhinderten eine deutlichere statistische Nachweisbarkeit positiver Effekte: Die Motivation der Jugendlichen bei der 2. Messung sowie die Tendenz zur Nivellierung von Unterschieden bei Beobachterurteilen über die verschiedenen Stationen des Assessments hinweg.
In der VAmB-Kompetenzmessung zeigte sich bei der 2. Messung, die am Ende der betriebsnahen Ausbildung kurz vor den IHK-Prüfungen stattfand, ein deutlicher Rückgang in der Motivation der Jugendlichen zur Teilnahme am AC und in der Bereitschaft, im AC optimale Leistungen zu zeigen. Dies wurde übereinstimmend von den meisten eingesetzten Beobachtern berichtet und dürfte sich negativ auf die Ergebnisse in der 2. Messung ausgewirkt haben. Gleiches betonen im Übrigen BLECK/ENGGRUBER (2008b bei ihrer Untersuchung der Jugendlichen in BVB-Maßnahmen mit dem Verfahren Profil-AC.
Ausgehend von der Einzelbeobachtung eines/er Jugendlichen, über die Gesamtbeobachtung eines/er Beobachters/in bis hin zum Gesamtergebnis, das die Beobachterkonferenz für eine/n Jugendliche/n festlegte, liegt eine Reihe von Vermittlungs- und Konsensprozessen vor, bis das Endergebnis für eine/n Auszubildende/n feststeht. Immer wieder wurden diskrepante Beobachtungsurteile auf einen gemeinsamen Nenner gebracht. Das kann dazu führen, dass markante Veränderungen, die ein/e Jugendliche/r unter Umständen an einer Station des Assessment-Centers gezeigt hat, am Ende in den Bewertungen kaum noch sichtbar sind. Die komplexe Auswertungsprozedur mit dem Abgleich von Beobachterurteilen tendiert dazu, Leistungsunterschiede zu nivellieren, da immer Kompromisse für diskrepante Urteile gesucht werden müssen. Deshalb sind die gemessenen leicht positiven Effekte durchaus als ein Erfolg zu werten, nicht nur für die Jugendlichen, sondern wohl auch für die Methodik dieser handlungsbasierten Form der Kompetenzmessung in der Berufspädagogik.