Evaluationsdesigns und Methoden

Die Verwendung von Designs und Methoden ist immer abhängig von den Zielen und Fragestellungen der Evaluation: sie müssen so ausgelegt sein, dass sich mit ihrer Hilfe die Zielsetzungen verwirklichen und die Fragestellungen beantworten lassen. So braucht es z.B. für eine Prozessevaluation meist eine andere Herangehensweise als für eine Wirkungsanalyse (wobei auch die Wirkungsanalyse eine Prozessanalyse beinhalten sollte…).

Evaluationsdesigns und -methoden sind also immer kontext- und situationsabhängig und müssen für den jeweiligen Auftrag „maßgeschneidert“ werden. Dafür braucht es Erfahrung und Expertise. „One size fits all“ führt meist nicht zu den gewünschten Ergebnissen. 

Ermittlung der Ausgangslage der Evaluation

Am Anfang einer Evaluation steht daher die Ermittlung von grundlegenden Rahmenbedingungen und Zielsetzungen der Evaluation:

• Evaluationsziele, Fragestellungen, Evaluationskritieren und Leistungs(Indikatoren) sowie
• vorhandene Daten, zeitliche Rahmenbedingungen und Ressourcen

Auf Basis dieser Informationen kann dann ein Evaluationsdesign erstellt werden, mit geeigneten Methoden und Instrumenten.

Vorhandene Daten bzw. Aufbau von Monitoringsystemen

Viele Daten zu Inputs, Prozess und Outputs können im Verlauf der Projektabwicklung/Maßnahmenimplementierung mit relativ wenig Aufwand erhoben werden. Diese Monitoringdaten stellen als Datengerüst eine wichtige Grundlage für jede Evaluation dar. 

• Wird eine Evaluation beauftragt, wenn ein Projekt/eine Maßnahme bereits fortgeschritten ist, so gilt es, diese Monitoringdaten ausfindig zu machen, gegebenenfalls aufzubereiten und auszuwerten.
  Vorhandene Daten werden oft in Evaluationen nicht ausreichend berücksichtigt, dies führt zu Doppelerhebungen; die Chance, ein nachhaltiges Monitoring zu initiieren bzw. weiterzuentwickeln, bleibt ungenützt.
• Wird eine Evaluation bereits zu Projektbeginn beauftragt bzw. ist die Evaluatorin/der Evaluator bereits in einem frühen Stadium involviert, so sollte der Aufbau eines geeigneten Monitoringsystems Teil des Auftrags sein. Dabei sollte folgendes berücksichtigt werden:  
  – Dokumentationserfordernisse, Definition von relevanten Daten
  – operative Umsetzung, ins Projekt integrierte Datenerhebung und -auswertung

Quantitative und qualitative Methoden

Für die meisten Evaluationen braucht es einen „Methoden-Mix“, d.h. quantitative und qualitative Daten. 

•     Fragebogenerhebungen, qualitative Interviews
•     Beobachtungen
•     Analysen von Monitoringdaten und Dokumenten
•     Dokumentarisches Verfahren

Prozessevaluation

Bewertung von Ergebnissen und Produkten

Wirkungsanalysen

Besondere Zugänge und Perspektiven

•     Entwicklungsorientierte Evaluation
      (Developmental Evaluation nach Michael Patton)
•     Nutzungsfokussierte Evaluation
      (Utilization-focused Evaluation nach Michael Patton)
•     Programmtheoriebasierte Evaluation
•     Wertschätzende Evaluation (Appreciative Inquiry)