Auswahl von Methoden und Instrumenten

Bei der Auswahl von Methoden und Instrumenten sind verschiedene Aspekte zu beachten, wobei gleich zu Beginn darauf hingewiesen sei, dass es die „beste“ Methode, das „beste“ Instrument nicht gibt: alle haben sie ihre Vorteile und Nachteile. Diese gilt es abzuwägen. Kriterien sind v.a. die inhaltliche Eignung und die Durchführbarkeit.

Inhaltliche Eignung

Die Methoden und Instrumente müssen in erster Linie dazu geeignet sein, die Evaluationsfragestellungen zu beantworten, um keine „Themenverfehlung“ zu erzeugen. Das bedeutet, dass man recht präzise definieren muss, worüber die Daten Auskunft geben sollen.

Wenn wir z.B. wissen wollen, wie Schüler/innen und/oder Lehrkräfte über den Unterricht denken, dann werden wir sie dazu befragen. Oder wir können bereits Vorliegendes auswerten, wenn es z.B. Lehr-/Lern-Tagebücher, Aufsätze oder andere Dokumente dazu gibt.

Wenn wir wissen wollen, wie Schüler/innen und/oder Lehrkräfte sich im Unterricht verhalten, gibt es mehrere Möglichkeiten: Wir können sie ebenso befragen – oder wir können Verhalten auch direkt beobachten. Letzteres empfiehlt sich, wenn man davon ausgehen kann, dass die Antworten von Befragten nur bedingt aussagekräftig sind: wenn es z.B. einen starken sozialen Druck gibt, ein bestimmtes Verhalten zu berichten, oder sich die Befragten vermutlich nicht mehr so genau erinnern können. Ersteres empfiehlt sich, wenn wir nicht ausreichend Zeit haben oder Beobachtungen schwer zu organisieren sind – oder auch wenn die potenziell zu Beobachtenden die Beobachtung als unangenehm empfinden oder noch nicht genug Vertrauen in diese Art der Erhebung haben.

Allgemein gilt es auch zu bestimmen, ob eher die Erkundung von qualitativen Aspekten im Vordergrund steht

z.B.: Was erleben Schüler/innen im Unterricht als besonders hilfreich? Wie haben die Beteiligten das Projekt erlebt? Was haben sie mitgenommen?

oder ob es wichtig ist, das Ausmaß bestimmter, vorab definierter Faktoren zu kennen

z.B.: Wie viele Schüler/innen erlebten xy im Unterricht als besonders hilfreich? Wie viele der Beteiligten fanden das Projekt sehr interessant/gut organisiert/hilfreich für ihr Lernen...? Wie viele Personen haben ihre Kenntnisse in Bezug auf xy verbessern können?

Je nachdem werden Sie eher auf qualitative oder auf quantitative Methoden zurückgreifen. Beachten Sie dabei, dass Sie für eine quantitative Erhebung bereits relativ hohes Vorwissen in Bezug auf die evaluierte Fragestellung brauchen, da Sie hier die Fragen sehr konkret formulieren müssen. Qualitative Methoden sind zu empfehlen, wenn man „explorativ“ vorgehen will, also erst einmal erkunden möchte, was überhaupt passiert ist, in welch unterschiedlichen Arten Menschen darauf reagiert haben, welche Aspekte wichtig waren etc. In vielen Fällen (auf jeden Fall aber in größer angelegten, umfassenden Evaluationen) ist es auch sinnvoll beides zu kombinieren.

Ganz wichtig ist auch das Vertrauen zwischen den Personen, die eine Erhebung durchführen, und den von ihnen Befragten: So spannend und aussagekräftig z.B. Fokusgruppen und qualitative Interviews sind, um „hinter die Kulissen“ zu blicken und etwas über Hintergründe, Abläufe und Deutungen zu erfahren, sind sie doch nur sinnvoll einzusetzen, wenn bei den Interviewpartner/innen Vertrauen besteht: in die Person, die sie interviewt, und in das Verfahren. Schule ist hierarchisch. Eine Mindestanforderung für persönliche Interviews ist, dass die Befragten sicher sein können, dass sie sich mit ihren Aussagen auf keinen Fall selbst schaden. Ist das Vertrauen (noch) nicht ausreichend vorhanden, sind Methoden vorzuziehen, bei denen die Befragten anonym bleiben können. Dies bietet zum Beispiel das Individualfeedback in SQA online.

Die Frage der Eignung betrifft nicht nur die Auswahl der Methoden, sondern auch die Gestaltung der Instrumente, d.h. der Fragebögen, Leitfäden, Vorlagenblätter, Raster etc., die in der Evaluation eingesetzt werden. Gerade wenn man bereits vorhandene Instrumente benützt, sollte man daher noch einmal kritisch überprüfen, ob die eigenen Fragestellungen damit tatsächlich abgedeckt werden – und ob sie für die Zielgruppe auch wirklich passen, also z.B. im Falle von Schüler/innenbefragungen, ob die Fragebögen altersgerecht sind.

Durchführbarkeit

Die beste Methode wird nichts nutzen, wenn sie die Beteiligten überfordert oder schlicht nicht machbar ist. Es ist also legitim, ja notwendig, sich die Frage nach der Durchführbarkeit zu stellen. Dabei können verschiedene Punkte eine Rolle spielen:

·       Wichtig sind z.B. die Personen, die in der Evaluation befragt oder beobachtet werden sollen: Wer sind sie? Wann sind sie verfügbar? Wofür? Was ist für sie akzeptabel? Was können wir realistischerweise von ihnen erwarten? Zwei Beispiele: Jüngere Schüler/innen wird man vermutlich nicht mit langen Fragebögen befragen, sondern die Sache eher spielerisch angehen und direkt mit ihnen kommunizieren. Eltern und schulexterne Personen wird man meist eher gegen Abend oder in ihrem eigenen Umfeld ansprechen können.

·       Wichtig ist auch die Motivation und das Know-how derjenigen, die die Erhebung durchführen: Haben sie bereits Erfahrung mit diesen Methoden? Fühlen sie sich wohl dabei? Haben sie das nötige Rüstzeug? Das heißt natürlich nicht, dass man nichts Neues probieren sollte. Aber man sollte sich eben auch nicht dazu drängen lassen, oder zusätzliche methodische Unterstützung ins Team holen, wenn man sich nicht ausreichend sicher fühlt. Das kann die Entwicklung von Fragebögen betreffen, das statistische Know-how quantitative Befragungen oder auch Expertise in qualitativen Erhebungs- und Auswertungsmethoden.

·       Und schließlich sind Aufwand und zeitliche Ressourcen zu beachten, nach dem Motto: Schaffen wir das überhaupt? Geht sich das aus? Wie bereits mehrfach gesagt: Weniger ist oft mehr, ein kleiner Schritt nach dem anderen besser als eine „Mammutevaluation“, die einerseits in der Durchführung Zeit, Energie und Kräfte (über)strapaziert, andererseits eine große Menge Daten erzeugt, die im Nachgang gar nicht alle genutzt werden können.

Triangulation

Hier kommt nun noch eine methodische Anregung, wie Evaluationsergebnisse noch differenzierter und fundierter werden können: durch Triangulation. Triangulation ist ein Begriff aus der Landvermessung, der in die Sozialforschung Eingang gefunden hat. Gemeint ist damit, dass Fragestellungen unter verschiedenen Gesichtspunkten bearbeitet und betrachtet werden und die Ergebnisse dann zusammengeführt und in Beziehung zueinander gesetzt werden: Also z.B. verschiedene Betroffene und Beteiligte zu einer Sache zu befragen, verschiedene Methoden und Daten zu verwenden oder auch eine Erhebung durch verschiedene Personen durchführen zu lassen.

Das macht die Sache natürlich aufwändiger, weshalb es auch legitim ist, darauf (in einem ersten Schritt) zu verzichten. Oft ist eine Triangulation aber gar nicht so schwer zu bewerkstelligen: Wenn z.B. Ergebnisse von Fragebogenerhebungen vorliegen, können diese durch Interviews mit ausgewählten Personen weiter vertieft werden. Oder es werden Erhebungen, z.B. Fokusgruppen oder Hospitationen, durch Teams durchgeführt, die im Anschluss ihre jeweiligen Eindrücke und Beobachtungen austauschen und vergleichen. (Dies ist sehr zu empfehlen!) Nicht verzichten sollte man, wenn irgend möglich, auf die Triangulation der Perspektiven der verschiedenen Betroffenen und Beteiligten, da sonst wichtige Informationen für ein (ausgewogenes) Gesamtbild fehlen.

Ein klassisches Beispiel für Triangulation ist das Schulfeedback-Instrument für Schüler/innen, Lehrer/innen und Eltern/Erziehungsberechtigte in SQA online.


Last modified: Friday, 19 February 2016, 2:11 PM