Zu Beginn des Jahres 2023 betreut das KfW Development Impact Lab knapp 18 rigorose Wirkungsevaluierungen (RIE). Diese decken die Themenfelder des Finanziellen Zusammenarbeit (FZ) breit ab: Die meisten Evaluierungen (fünf) gehören zu dem Themenfeld „Nachhaltige Wirtschaftsentwicklung, Ausbildung und Beschäftigung“, drei Evaluierungen in den Komplex „Klima und Energie“ sowie weitere zwei zu „Frieden und gesellschaftlicher Zusammenhalt“. Wir planen, dies in den kommenden Jahren weiter auszubauen und auch neue RIE zu finanzieren oder finanzieren zu lassen.
Diese Evaluierungen werden dabei von verschiedenen Partnern durchgeführt. Ein Teil mit Unterstützung multilateraler Organisationen und eigener Impact Evaluation Einheit, wie zum Beispiel Weltbank oder World Food Program (WFP). Bei sieben Evaluierungen kooperieren wir mit Universitäten für die Konzeption, Datenanalyse und Auswertung. Drei Evaluierungen führen Mitglieder des Development Impact Labs selbst durch.
Interessant: Das KfW Development Impact Lab begleitet auch RIE, die über den DEval-Fördertopf des Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) ausgewählt wurden und damit nicht direkt durch die KfW Entwicklungsbank finanziert werden.
RIEs sind experimentelle und quasi-experimentelle Methoden, zur kausalen Messung von Wirkungen in einem Vorhaben. Die also jene Effekte ermitteln, die ausschließlich dem Vorhaben zugeschrieben werden können – und diese von zeitgleichen Entwicklungen oder anderweitigen Zusammenhängen zwischen Vorhaben und Zielindikatoren isolieren.
Neben den konkreten Wirkungen auf die Zielgruppen von Vorhaben analysieren RIEs auch Effekte auf Teilgruppen oder unterliegende Wirkungsmechanismen. So kann es zum Beispiel sein, dass ein Gesundheitsvorhaben für Frauen deutlich größere Effekte aufweist als für Männer, oder dass produktive Effekte neuer Stromanschlüsse sich nur in Gegenden materialisieren, die Zugang zu Märkten haben.
Die rigorosesten Methoden, und damit der sogenannte „Gold Standard“, sind experimentelle Methoden wie „Randomized Controlled Trials“ (RCTs). Bei RCTs wird ein Vorhaben - oder auch Teilmaßnahmen des Vorhabens - per Zufallsprinzip einer Gruppe von Individuen, Schulen, Gemeinden oder Anderem zugeordnet und profitiert von dem Vorhaben („Interventionsgruppe“). Die zweite Gruppe erhält das Vorhaben/die Intervention später oder – wie bei einem Placebo – gar nicht (Kontrollgruppe). Das (kontrollierte) Zufallsprinzip stellt, ähnlich wie in der medizinischen Forschung, die Vergleichbarkeit der zwei Gruppen sicher: Je nach Maßnahme sind sie zum Beispiel im Durchschnitt gleich alt, gesund, ambitioniert, vulnerabel oder wohlhabend. Dementsprechend sind – bei gelungener Umsetzung des Vorhabens – alle Unterschiede zwischen den Gruppen dem Vorhaben selbst zuschreibbar. Ein bekanntes Beispiel sind Cash Transfers, die an die Haushalte der Zielgruppe ausgezahlt werden, wenn ihre Kinder die Schule besuchen.
Wenn eine rein experimentelle (zufällige) Zuordnung nicht vertretbar oder realisierbar ist, können quasi-experimentelle Methoden sinnvoll sein. Hierzu werden Vergleichsgruppen beispielsweise entlang von Grenzwerten bestimmter Auswahlkriterien definiert (Regression Dicontinuity Design, RDD) Alternativ kann mittels Difference-in-Difference-Setting auch ein Vergleich zwischen zwei ähnlichen Gruppen angestellt werden. Ähnlich wie beim RCT profitiert dann eine Gruppe von dem Vorhaben. Über eine Schätzung wird dann die Wirkung des Vorhaben aus dem Vergleich ermittelt.
