Metaanalysen der Unterrichtsforschung.

Vor kurzem ist ein Buch erschienen, das die Times Educational Supplement als „… heiligen Gral der Didaktik“ gewürdigt hat, weil es in einem Band zusammenfasse, was man heute aus empirischen Studien über Bedingungen für einen erfolgreichen Unterricht wisse: „Visible Learning“ von John Hattie (2009, dt. 2013): Daten zu mehr als 130 Merkmalen aus über 50.000 Basisstudien. Ist damit wirklich endgültig geklärt, was „guten Unterricht“ ausmacht?

Die empirische Bildungsforschung – vor allem in den angelsächsischen Ländern – hat in den vergangenen 20, 30 Jahren eine Unzahl von Befunden aus Einzelprojekten zu verzeichnen, die kaum jemand mehr überblicken kann. Angesichts dieser zunehmenden Fülle von Detailstudien hat die Bedeutung sog. „Metaanalysen“ zugenommen. Um zu sehen, ob es eine Beziehung zwischen Faktoren wie z. B. Fernsehkonsum von Kindern und ihrer Lesefähigkeit gibt und wie stark sie ausgeprägt ist, verrechnet man statistische Effekte über verschiedene Studien hinweg. Man tut dies, obwohl die Daten unter verschiedenen Bedingungen, in verschiedenen Kontexten (Bildungssystemen, Sprachen, Kulturen...) und mit unterschiedlichen Instrumenten gewonnen worden sind. Auf diese Weise hofft man robustere Werte zu gewinnen und den Einfluss von Ausreißer-Befunden aus Einzelstudien zu minimieren. Auf den ersten Blick ein überzeugender Ansatz – und auf alle Fälle eine Hilfe, um einen groben Überblick zu gewinnen.

Hatties Zusammenschau wird auch in Deutschland immer häufiger zitiert, um bestimmte „Methoden“ oder „Ansätze“ als mehr oder weniger sinnvoll zu bewerten [Anm.: Vgl. etwa Köller (2012), Spiewak (2013); differenzierte Auseinandersetzungen mit Hatties inhaltlichen Aussagen finden sich bei: Terhart (2011), Meyer (2013).].
Denn Hattie ist noch einen Schritt weitergegangen als die Kolleg/inn/en vor ihm: Er hat die Werte aus über 800 Metaanalysen zum Schulerfolg unter verschiedenen Bedingungen in einer Meta-Meta-Analyse auf einer noch höheren Ebene verdichtet und findet in der Tat einige beeindruckende Zusammenhänge. Hier die Plätze 1-10 der angeblich einflussreichsten Faktoren [Anm.: ES = Effektstärke; ab 0,5 gilt ein Effekt gemeinhin als beachtenswert – der Anschaulichkeit halber oft gleichgesetzt mit dem Vorsprung von etwa einem Schuljahr.]
(s. ergänzend unten die Auswahl-Übersicht auf Deutsch):

Die formal aufgelisteten Merkmale zeigen allerdings Spannungen auf, die den Sinn von Ranglisten, wie Hattie sie publiziert, in Frage stellen [Anm.: Vgl. zu weiteren Kritikpunkten, z. B. der Beschränkung der Erfolgsmaße für „erfolgreichen Unterricht“ auf Ausschnitte aus (nur) den Fächern Mathematik und Sprache, aber auch zu forschungsmethodischen Bedenken Lind (2011), Brügelmann (2013), Rolff (2013).]
Zum Beispiel wirke positiv, wenn Lehrer/innen klare Anweisungen bei der Aufgabenstellung geben - aber auch wenn Schüler/innen anderen Schüler/innen etwas beibringen oder wenn sie sich gar selbst beurteilen dürfen. Auch die folgende Auswahl über das ganze Spektrum der Effektstärken zeigt, dass es darauf ankommt, was man jeweils unter den einzelnen Etiketten konkret versteht – sowohl in den verschiedenen Studien, die als „gleich“ miteinander verrechnet werden, als auch bei der Übersetzung in andere Sprachen (s. die Originalbegriffe in Klammern) wie auch in jeder Auslegung der stark verknappten „Etiketten“ durch einzelne Leser/innen:

• 1.4 Selbstbeurteilung
• 1.3 Piaget-orientierte Programme
• .9 förderorientierte Beurteilungen
• .9 Einüben von methodischen Fertigkeiten („micro teaching“)
• .7 klare Anweisungen des Lehrers („teacher clarity“)
• .7 Schüler als Lehrer („reciprocal teaching“)
• .6 Fortbildung von Lehrer/inne/n
• .5 Schüler als Tutor_inn_en („peer tutoring“)
• .0 Schülerkontrolle über Lernen
• .0 offen vs. traditionell
• .0Altersmischung
• .0 Fachwissen Lehrer
• .0Förderung von Wahrnehmung und Motorik

Wie kompliziert das Bild tatsächlich ist, zeigen beispielhaft die Werte zum Faktor „Computereinsatz“ im Unterricht. Mit einer durchschnittlichen Effektstärke von .39 ist sein Einfluss als mäßig positiv einzuschätzen. Wenn die Lernschritte durch das Programm vorgegeben werden, verschwindet dieser sogar ganz (-.02). Andererseits steigt der Effekt, wenn die Schüler das Vorgehen im Programm selbst steuern konnten, auf .49, und wenn sie mit einem Partner arbeiteten, sogar auf .96.

[weiterlesen...]

Literatur

Brügelmann, H. (1998): Öffnung des Unterrichts Befunde und Probleme der empirischen Forschung. In: Brügelmann, H./ Fölling Albers, M./ Richter, S. (Hrsg.) (1998): Jahrbuch Grundschule. Fragen der Praxis Befunde der Forschung. Erhard Friedrich Verlag: Seelze, 8-42.

Brügelmann, H. (2005): Schule verstehen und gestalten – Perspektiven der Forschung auf Probleme von Erziehung und Unterricht. Libelle: CH-Lengwil (als „wachsendes Fachbuch“ bis Ende 2008 aktualisiert unter: http://www2.agprim.uni-siegen.de/schuleverstehen).

Brügelmann, H. (2011): Miss Marple neben PISA & Co. - Plädoyer für eine Bildungsforschung, die der Praxis nützt. In: Moser, H. (Hrsg. (2011): Aus der Empirie lernen? Forschung in der Lehrerbildung. Professionswissen für Lehrerinnen und Lehrer, Bd. 10. Schneider Verlag Hohengehren: Baltmannsweiler, 221-234.

Brügelmann, H. (2013): Wem und was nützen (Meta-)Meta-Analysen der Bildungsforschung? Erscheint in: für Schulverwaltung NRW (Sommer 2013).

Hattie, J.A.C. (2013): Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von „Visible Learning“ besorgt von Wolfgang Bewyhl und Klaus Zierer. Schneider Hohengehren: Baltmannsweiler (engl. 2009).

Helmke, A. (2012) Leistungsorientierung und Leistungsdifferenzierung im Unterricht: unvereinbare

Ziele? Folien zum Vortrag: http://www.ed-bs.ch/bildung/pzbs/veranstaltungen/paedagogische-tagung-05.09.2012/referat-helmke.pdf

Köller, O. (2012). What works best in school? Hatties Befunde zu Effekten von Schul- und Unterrichtsvariablen auf Schulleistungen. In: Psychologie in Erziehung und Unterricht, 59. Jg., 72-78.

Lind, G. (2011): Pädagogik oder Struktur? Auch die Hattie-Studie weiß keinen Rat. In: Hessische Lehrerzeitung, Nr. 11/2011, 26-27 (überarb. Fassung unter dem Titel „Meta-Analysen als Wegweiser?“ verfügbar über http://www.uni-konstanz.de/ag-moral/pdf/Lind-2013_meta-analysen-als-wegweiser.pdf

Meyer, H. (2013): Auf die Lehrkraft kommt es an! Ms. des Eröffnungsvortrages auf der Fachtagung des Bundesarbeitskreises der Seminar- und Fachleiter/innen e.V. Niedersachsen (BAK) am 11.3.13 an der Carl von Ossietzky Universität: Oldenburg.

Rolff, H.-G. (2013): Die Hattie –Studie: Ein Rorschach-Test. In: Pädagogik, 65. Jg. H. 3, 46-49.

Spiewak, M. (2013): Ich bin superwichtig! In: DIE ZEIT Nr. 2 v. 3.1.2013. Download: http://www.zeit.de/2013/02/Paedagogik-John-Hattie-Visible-Learning.

Terhart, E. (2011): Hat John Hattie tatsächlich den Heiligen Gral der Schul- und Unterrichtsforschung gefunden? Eine Auseinandersetzung mit Visible Learning. In: Keiner, E., u. a. (Hrsg.) (2011): Metamorphosen der Bildung. Historie – Empirie – Theorie. Festschrift für Heinz-Elmar Tenorth. Klinkhardt: Bad Heilbrunn (277-292).

Weinert, F.E./ Helmke, A. (Hrsg.) (1997): Entwicklung im Grundschulalter. Beltz Psychologie Verlags Union: Weinheim.