Im KfW Development Impact Lab bündelt FZ-Evaluierung alle Rigorosen Impact Evaluierungen (RIE) sowie quantitative Wirkungsanalysen der KfW Entwicklungsbank. RIE ergänzen die Ergebnisse aus Ex-post-Evaluierungen um kausale, quantitative und begleitend zur Projektumsetzung erfolgende Wirkungsmessungen zu spezifischen einzelnen Themen mit besonderer Relevanz für die Finanzielle Zusammenarbeit. Ex-post-Evaluierungen und RIE sind somit gleichermaßen relevant für den Erkenntnisgewinn und Voraussetzung für das Institutionelle Lernen der FZ. Für eine starke Vernetzung von RIE mit den unterschiedlichsten Know-how-Trägern in- und außerhalb der FZ ist die agile Arbeitsweise des KfW Development Impact Lab sehr förderlich.
Aufgabe des KfW Development Impact Labs ist die Förderung bestehender und Auswahl neuer Rigoroser Impact Evaluierungen, die begleitend zu Projekten der finanziellen Zusammenarbeit umgesetzt werden. Wie RIEs genutzt und gefördert werden, wird dabei ganz an die inhaltliche Frage, den Kontext sowie die Bedürfnisse und Kapazitäten innerhalb der KfW Entwicklungsbank und unserer Partner angepasst. Dabei werden in der Umsetzung von RIE sowohl Befragungen von Haushalten durchgeführt als auch Satelliten- oder andere Sekundärdaten analysiert - unter Berücksichtigung methodischer Möglichkeiten und Grenzen.
RIEs beschreiben eine Toolbox an experimentellen und quasi-experimentellen Methoden. Ihre Gemeinsamkeit ist die kausale Identifikation und Messung von Wirkungen in einem Vorhaben. Die Betonung liegt auf Kausalität: Also darauf, jene Effekte zu ermitteln, die ausschließlich dem Vorhaben zugeschrieben werden können - und diese von zeitgleichen Entwicklungen oder anderweitigen Zusammenhängen zwischen Vorhaben und Zielindikatoren zu isolieren. Neben der Messung konkreter Wirkungen auf die Zielgruppen von Vorhaben analysieren RIEs auch Effekte auf Teilgruppen oder unterliegende Wirkungsmechanismen. So kann es zum Beispiel sein, dass ein Gesundheitsvorhaben für Frauen deutlich größere Effekte aufweist als für Männer oder dass produktive Effekte neuer Stromanschlüsse sich nur in Gegenden materialisieren, die Zugang zu Märkten haben.
Die rigoroseste Methode der Impact Evaluation Toolbox, der sogenannte „Gold Standard“, sind experimentelle Methoden wie „Randomized Controlled Trials“ (RCTs). Bei RCTs wird ein Vorhaben - oder auch Teilmaßnahmen des Vorhabens - per Zufallsprinzip einer Gruppe von Individuen, Schulen, Gemeinden oder Anderem zugeordnet („Interventionsgruppe“). Die zweite Gruppe erhält das Vorhaben später oder – wie bei einem Placebo – gar nicht (Kontrollgruppe). Das Zufallsprinzip stellt, ähnlich wie in der medizinischen Forschung, die Vergleichbarkeit der zwei Gruppen sicher: Je nach Maßnahme sind sie zum Beispiel im Durchschnitt gleich alt, gesund, ambitioniert, vulnerabel oder wohlhabend. Dementsprechend sind – bei gelungener Umsetzung des Vorhabens – alle Unterschiede zwischen den Gruppen dem Vorhaben selbst zuschreibbar. Ein bekanntes Beispiel sind Cash Transfers, die dann an die Haushalte der Zielgruppe ausgezahlt werden, wenn ihre Kinder die Schule besuchen.
In Fällen, in denen eine rein experimentelle (zufällige) Zuordnung nicht vertretbar oder realisierbar ist, stellen quasi-experimentelle Methoden eine sinnvolle Alternative dar. Vergleichsgruppen können beispielsweise entlang von Grenzwerten bestimmter Auswahlkriterien definiert werden (Regression Discontinuity Design, RDD). Richtet sich bspw. ein Vorhaben zu einem festen Zeitpunkt an Kinder unter zwei Jahren, können fast zweijährige Teilnehmende mit knapp über zwei Jahre alten Teilnehmenden verglichen werden.
RCTs und RDDs sind nur zwei Beispiele aus der Impact Evaluation Toolbox. Je nach Art des Vorhabens, Stand der Umsetzung und Kriterien zur Auswahl von Begünstigten, bietet die Toolbox eine Bandbreite an methodischen Möglichkeiten. Im Rahmen des KfW Development Impact Labs identifizieren wir zu jedem Vorhaben die an das Vorhaben angepasste Methodik nach dem Grundsatz: form follows function.
