Evaluacija učinaka koristeći protučinjeničnu analizu

Standardi u Europi i pionirska praksa u Hrvatskoj

Pregled europskih praksi i standarda evaluacija raznih intervencija i fondova zadnjih nekoliko godina ukazuje na rastući fokus i popularnost evaluacije učinaka tzv. impact evaluation kao i pripadajuće metode protučinjenične analize. Tako je Europska komisija uspostavila Center for Research on Impact Evaluation pri Joint Research Centru kojemu je primarni cilj pružati podršku u primjeni protučinjenične evaluacije učinaka intervencija; ponajprije Europskog socijalnog fonda. Komisija navodi kako je posvećena tome da ova metoda vrednovanja postane uobičajen dio procesa implementacije javnih politika. Pa je tako, primjerice, pri evaluaciji kohezijskih politika Komisija objavila praktičan vodič popraćen aneksom isključivo za dizajn i uporabu protučinjenične analize, budući da se radi o novijoj, ali i zahtjevnoj metodi.

Slijedeći standarde na EU razini, i u Hrvatskoj se na institucionalnoj razini može primijetiti promocija protučinjenične metode u sklopu vrednovanja društveno razvojnih intervencija. Tako, primjerice, Evaluacijska strategija za europske strukturne instrumentejoš 2012. zasebno spominje protučinjeničnu metodu kao jednu od dvije temeljne vrste evaluacije učinaka dok Strategija vrednovanja provedbe europskih strukturnih i investicijskih fondova financijske perspektive 2014.-2020. navodi protučinjeničnu analizu kao jednu od poželjnih metoda vrednovanja. Ipak, u praktičnom smislu ova se metoda u Hrvatskoj tek počinje značajnije koristiti. Jedan od primjera je svakako službeni Evaluacijski plan Operativnog programa Učinkoviti ljudski potencijali 2014.-2020. koji propisuje uporabu protučinjenične metode u polovici, odnosno u 7 od 14 planiranih evaluacija, od kojih je veći dio trenutno u procesu ugovaranja kroz javnu nabavu Provedba evaluacija u okviru Operativnog programa Učinkoviti ljudski potencijali 2014. - 2020.

Što je protučinjenična metoda?

Protučinjenična metoda primarno mjeri utjecaj određene intervencije i odgovara na pitanje koliko promjene je neka intervencija uzrokovala. Primjerice, ukoliko određena skupina ljudi prođe kroz intervenciju, ovom se analizom pokušava odgovoriti na pitanje koja su obilježja te skupine nakon intervencija te kakva bi ta obilježja bila da do intervencije nikada nije došlo. Stoga, protučinjenična analiza podrazumijeva odabir tretirane grupe (treatment group) odnosno grupe koja je prošla intervenciju te odabir kontrolne grupe (control group) koja nije prošla intervenciju, ali se od prve grupe ne razlikuje značajno u  obilježjima koja bi mogla utjecati na učinak intervencije. Proces usporedbe ovih dviju grupa obično se temelji na metodi uparivanja jedinica analize iz tretirane grupe s jedinicama analize iz kontrolne grupe prema sličnosti određenih karakteristika. Nakon odabira ovih dvije grupa obično slijedi kvantitativna analiza i njihova statistička usporedba.

Jedan od aspekata protučinjenične analize koji vjerojatno najsnažnije ograničava njenu primjenu je potreba za bazama podataka koja bi za veliki broj pojedinaca (ili drugih jedinica analize) pružila podatke za sva obilježja koja je potrebno mjeriti ili „kontrolirat“. Stoga, nedostupnost ili manjkavost podataka uvelike ograničavaju primjenjivost i praktičnost ove metode.

Dosadašnji hrvatski primjeri uporabe protučinjenične metode

Iako u Hrvatskoj protučinjenična analiza pri evaluacijama u pionirskoj fazi, evaluatorska zajednica može očekivati povećanje potražnje za njenom primjenom. Do sada smo zabilježili tri značajne evaluacije koje su koristile ovu metodu, uključujući sljedeće:

1.    Ipsos. (2016.) Vanjska evaluacija mjera aktivne politike tržišta rada 2010. - 2013.

Evaluacija mjera aktivnih politika zapošljavanja koje je provodio Hrvatski zavod za zapošljavanje između 2010. i 2013. godine koristila je protučinjeničnu analizu kako bi izmjerila učinak mjera aktivne politike zapošljavanja: stručnog osposobljavanja, potpora za (samo)zapošljavanje, obrazovanje nezaposlenih te javnih radova. Na temelju protučinjenične analize, kreirane su dvije skupine sudionika na tržištu rada za svaku od analiziranih mjera. Tretirana skupina okupljala je sudionike koji su sudjelovali u intervenciji, a kontrolna skupina pojedince koje su prema nizu ključnih karakteristika upareni sa sudionicima tretirane skupine, ali u intervenciji nisu sudjelovali.

2.    Ecorys. (2019.) Vrednovanje učinka Prioritetne osi 3 Poslovna konkurentnost Operativnog programa „Konkurentnost i kohezija“ 2020.: Završno izvješće.

Pri evaluaciji prioritetne osi 3 Operativnog programa „Konkurentnost i kohezija“, ova je evaluacija koristila protučinjeničnu analizu kako bi se izmjerio utjecaj intervencije bespovratne potpore dane malim i srednjim poduzetnicima. Analiza je podrazumijevala usporedbu grupe poduzetnika koji su primili bespovratne potpore s kontrolnom skupinom onih koji takvu potporu nisu dobili, a slični su pripadnicima prve skupine prema županiji, broju zaposlenika te sektoru. Potrebni podaci su nakon ispitivanja korisnika nadopunjeni putem Digitalne komore Hrvatske gospodarske komore.

3.    Ipsos. (2019.) Evaluacija Inicijative za zapošljavanje mladih u sklopu Operativnog programa Učinkoviti ljudski potencijali 2014. – 2020. za 2018. godinu: Završno izvješće.

Evaluacija Inicijative za zapošljavanje mladih, odnosno određenih mjera aktivne politike zapošljavanja usmjerenih na integraciju mladih na tržište rada, koristila je protučinjeničnu metodu, a u njoj su sudjelovali i stručnjaci MAP-a. Kako bi se izmjerila djelotvornost mjera, za skupinu pojedinaca koji su sudjelovali u mjerama izabrana je kontrolna grupa njihovih „dvojnika“, odnosno onih pojedinaca koji nisu sudjelovali u intervenciji, ali su im slični po onim karakteristikama za koje je određeno da mogu utjecati na sudjelovanje u mjerama ili na uspješnost same mjere. Time je osnova za uparivanje bio spol, dob, obrazovanje, županija, datum ulaska u intervenciju, invaliditet, beskućništvo, ostale osobe u nepovoljnom položaju te pripadnost nacionalnoj manjini ili strano podrijetlo. Primarni izvor podataka činila je baza korisnika IZM/ESF intervencija i baze Hrvatskog zavoda za zapošljavanje.

Konačno, bez obzira na dosadašnju ograničenu uporabu protučinjenične analize pri evaluacijama u Hrvatskoj, postoje naznake za sve većim uvažavanjem i potražnjom za korištenjem ove metode. Prošle pionirske evaluacije koje su se okušale u ovoj analizi, kao i svaki novi pokušaj koji slijedi, povećavaju raspoloživu bazu znanja i obrazaca te olakšavanju svim zainteresiranim buduću primjenu protučinjenične analize pri evaluacijama intervencija u Hrvatskoj, no čija će primjena i raširenost ponajviše ovisiti o dostupnosti i kvaliteti određenih nacionalnih baza podataka u različitim sustavima.