Ergebnisse validieren, interpretieren und Schlussfolgerungen ziehen

Im nächsten Schritt sind nun die Analyseergebnisse zu validieren, zu interpretieren und zu bewerten.

Was bedeutet das? Was ist zu tun?

1) Kommunikative Validierung: Gerade wenn eine kleine Gruppe die Auswertung vorgenommen hat, ist es wichtig, dass die Ergebnisse noch einmal auch von anderen auf ihre Plausibilität und Gültigkeit (Validität) überprüft werden: Haben wir das wirklich so gesagt/gemeint? Ist etwas missverstanden worden? Oder sind die Ergebnisse zwar vielleicht da und dort ein bisschen überraschend, aber durchaus plausibel? Die kommunikative Validierung beinhaltet daher auch so etwas wie einen „Fakten-Check“. Sie wird am besten in einer Besprechung oder einem Workshop vorgenommen, das geht rascher als schriftliche Kommentierung und ermöglicht es den Beteiligten, die Stimmen der anderen zu hören und mit ihnen zu diskutieren. Siehe unten.

2) Interpretation: Dann werden die Ergebnisse interpretiert, d.h. sie werden in den Schul- oder Unterrichtskontext gestellt, sie werden aus verschiedenen Blickwinkeln betrachtet und mit anderen Daten sowie den bisherigen Erfahrungen verglichen. Ziel ist es, die Daten zu verstehen (und auch zu erkennen, wo ihre Grenzen liegen, d.h. was sie nicht erklären können). Folgende Fragen können dabei hilfreich sein:

·       Was sagen uns diese Daten?

·       Was heißt das aus der Perspektive von ... (Schüler/innen, Lehrer/innen, Eltern)?

·       Wie sehen unsere Ergebnisse im Vergleich aus (mit anderen Schulen, mit dem Vorjahr, mit unseren selbst gesteckten Zielen)?

·       Was überrascht? Weshalb?

·       Welche Vermutungen können wir darüber anstellen, was hinter diesen Daten steckt?

·       Welche zusätzlichen Informationen brauchen wir?

3) Bewerten und Schlussfolgerungen ziehen: Schließlich geht es darum, die Ergebnisse zu bewerten und Schlussfolgerungen zu ziehen für künftiges Handeln. Dies ist der wichtigste, aber auch der kritischste Schritt in der Evaluation.

1.     Er zwingt zum Blick in den Spiegel und zur Stellungnahme, das kann auch unangenehm sein. Wichtig ist, sich zu vergegenwärtigen, dass Bewerten „den Wert einer Sache“ zu ermitteln bedeutet, ein „Abwerten“ sollte auf jeden Fall vermieden werden. Das ist am besten auch als Spielregel zu vereinbaren.

2.     Bewerten und Schlussfolgern erfordert aber auch noch einmal scharfes und kritisches Denken. In den wenigsten Fällen geben bestimmte Werte oder Befunde eine Bewertung (oder gar Handlungsempfehlungen) automatisch vor. Selbst wenn wir Kriterien und Indikatoren definiert haben, braucht es für gewöhnlich ein kritisches Abwägen, wie einzelne Ergebnisse bewertet werden und was diese Bewertung bedeutet.

Haben wir in der Analyse und Interpretation durch Vergleiche bereits eine erste Einschätzung getroffen „wo wir stehen“, muss jetzt Stellung bezogen werden: Mit welchen Ergebnissen können wir zufrieden sein, wo besteht Handlungsbedarf? Oft schließen sich daran erste Überlegungen an, was man im Anschluss an die Evaluation in welcher Weise angehen sollte.

Die drei Schritte werden für gewöhnlich nicht einzeln abgehandelt, sondern miteinander verbunden – z.B. in einer Auswertungskonferenz, siehe unten. Trotzdem ist es wichtig, die logische Abfolge zu berücksichtigen, um nicht vorschnell Schlüsse zu ziehen – auch wenn man manchmal in der Diskussion natürlich hin und her springt oder bereits „Abgehandeltes“ unter einem anderen Gesichtspunkt noch einmal angesehen werden muss.

Die Qualität der Ergebnisse – und auch ihre Glaubwürdigkeit – wird umso größer, je besser man es schafft, den Prozess des Bewertens (logisch) nachvollziehbar zu machen und die Bewertungen und Schlussfolgerungen auf einsichtige Begründungen zu stützen.

Wer sollte das tun? Und wie?

Abgesehen vom methodischen Vorgehen, stellt sich die Frage, wer einbezogen werden sollte und welche Empfehlungen für eine gemeinsame Vorgangsweise es gibt. Grundsätzlich sind das Bewerten und Schlussfolgern die entscheidenden Schritte zwischen Datenauswertung und Handeln. Sie sollten daher, wie bereits oben gesagt, von möglichst vielen Betroffenen und Beteiligten aktiv mitgetragen werden. Warum ist das so wichtig?

·       Einerseits ist es notwendig, dass die Perspektiven und das Wissen von verschiedenen Betroffenen und Beteiligten einfließt, um aussagekräftige Ergebnisse zu erhalten.

·       Andererseits erzeugt man dadurch „Ownership“: Ergebnisse, an deren Zustandekommen viele beteiligt waren, werden auch stärker mitgetragen als solche, die „im stillen Kämmerchen“ entstanden sind.

Oft ist in dieser Phase jedoch schon „die Luft draußen“, man möchte nun rasch und ohne weiteren Aufwand zu einem Abschluss kommen. Das bedeutet aber, dass die Evaluation unvollständig bleibt und vermutlich nicht oder wenig genutzt werden wird. Viel Lärm um nichts also, was schade ist, wenn bereits viel Zeit und Energie in das Evaluationsprojekt gesteckt wurde. Es zahlt sich also aus, gerade der Abschlussphase einer Evaluation spezielle Aufmerksamkeit zu schenken und sie auch – wie in der Einstiegsphase – wieder breit in der Schule zu verankern.

Am besten ist es, diese Aktivitäten als Veranstaltung für einen größeren Personenkreis zu gestalten. Das hat den zusätzlichen Vorteil, dass alle, die an dieser Veranstaltung teilgenommen haben, informiert sind und nicht erst einen Bericht lesen müssen, um zu wissen, wie die Evaluation ausgegangen ist. Es spart also wieder Zeit und Mühe und unterstützt die Verbreitung der Ergebnisse in der Schule.

Validierungsworkshop/Auswertungskonferenz

Es wird daher empfohlen, einen moderierten „Validierungsworkshop“ oder eine „Auswertungskonferenz“ zu organisieren, wenn möglich unter Teilnahme der verschiedenen Gruppen von Betroffenen und Beteiligten – also auch der Schüler/innen, der Eltern etc. In diesem Workshop/dieser Konferenz werden die Ergebnisse präsentiert und diskutiert. Dabei folgt man den oben genannten Schritten: Es werden die Teilnehmer/innen gebeten, die Ergebnisse noch einmal kritisch zu hinterfragen und zu validieren. Dann geht es, z.B. in Kleingruppen, in die Interpretation und Bewertung. Diese werden gesammelt und im Plenum besprochen. Schlussfolgerungen, die handlungswirksam werden sollen, sollten gemeinsam verabschiedet werden. Eventuell kann auch gleich eine Priorisierung vorgenommen werden: „Was sollten wir als erstes angehen? Was als zweites? etc. Was kommt auf eine Themenliste für später?“

Gelingt es nicht, einen Konsens über die Schlussfolgerungen herzustellen, dann ist es wichtig, noch einmal genauer hinzusehen: Welche Einwände gibt es? Womit haben sie zu tun? Sind nur Missverständnisse entstanden – oder gibt es gute Argumente, die Schlussfolgerungen zu ändern? Sollte es im Anschluss daran immer noch unterschiedliche Sichtweisen geben, die nicht auflösbar sind (z.B. weil es um eine Einschätzung zukünftiger Entwicklungen geht, die nicht sachlich entschieden werden kann), so kann im Sinne des Weiterarbeitens auch eine Mehrheitsentscheidung getroffen werden. Es ist jedoch zu empfehlen, die „abweichenden“ Meinungen ebenfalls zu dokumentieren – einerseits um sie zu würdigen und nicht unter den Tisch fallen zu lassen, andererseits auch als Information für später: Vielleicht möchte/muss man auf das „Für und Wider“ noch einmal zurückkommen, wenn sich herausstellt, dass sich die Dinge anders entwickeln als gedacht.

Anregungen für eine Konferenz zur Auswertung und Interpretation von Daten finden Sie hier.


Last modified: Friday, 18 March 2016, 8:37 AM