HENSIKTEN med boka er, i følge Krogstrup selv, å avklare noen sentrale begreper i dagens diskusjon om styring i offentlig sektor, deriblant resultatstyring, prestasjonsmålinger og evidens, og særlig sammenhengen mellom evidens og evaluering. Hun avgrenser det til effektevalueringer, det vil si undersøkelser av årsaks-virkningsforholdet mellom et tiltak og effektene av det. Hun peker samtidig på at evalueringsbegrepet ellers dekker mye mer, og at det finnes et vell av forskjellige evalueringstilnærminger og modeller, blant annet responsive, medvirkningsbaserte og praksisorienterte tilnærminger. Det er en viktig påpekning, fordi det i noen sammenhenger er en tendens til å sette likhetstegn mellom effektevaluering og evaluering som sådan, og det er for snevert.
HUN VIER også et kapittel til utviklingen i evalueringsfeltet fra 1960-tallet og fremover, og beskriver den i fire bølger, slik flere, blant annet en av nestorene i skandinavisk evaluering, Evert Vedung, har gjort. Beskrivelsen er informativ, ryddig og mer oversiktlig enn hun har gitt noen av sine tidligere bøker om evaluering. Når hun i tillegg for hver bølge tar med en gjennomgang av kritikken mot de evalueringstilnærmingene som dominerer i de ulike bølgene, så er det forbilledlig. Det er tydelig at Krogstrup har arbeidet lenge med evaluering; hun kjenner feltet og har god innsikt i evalueringers utfordringer, muligheter og begrensninger.
HOVEDDELEN (del 1-3) av boka er imidlertid viet diskusjonen om evaluering som redskap i mål- og resultatstyring i organisasjoner og politikk, og hvordan kravet om evidens påvirker utviklingen både i evalueringsfeltet og på de områdene det evalueres. Krogstrup tar først et oppgjør med organisasjoners hang til å måle prestasjoner og resultater. Til tross for at forskere for lenge siden har vist at slike målinger ikke har de forventende konsekvensene, lærer man sjelden av erfaringene, og man tar ikke inn over seg at organisasjoner er forskjellige. Hun foretar en kritisk og leseverdig gjennomgang av offentlig sektors iver etter å styre etter NPM-prinsipper, og peker blant annet på hvordan omfangsrike, komplekse og ressurskrevende målingsregimer har svekket den politiske styringen. Kanskje forleder de også ledere til å tro at de har bedre styring over sine organisasjoner enn de har. Krogstrup kaller dette Npm-orientert oppfatning av evaluering, noe som henger sammen med en oppfatning av organisasjoner og beslutninger som rasjonelle.
SLIK ER DET ikke nødvendigvis i virkeligheten; organisasjoner er tvert i mot komplekse systemer, og beslutningsprosesser er mangslungne og ofte lite transparente. Krogstrup skriver om «ustyrlige organisasjoner» og «ville problemer»; det vil si problemer som er vanskelige å definere klart og hvor det kan være uenighet om målene og midlene, og vi kan legge til; også om resultatene (er det for eksempel positivt eller negativt at antall barn som får støtteundervisning øker?). Dette er som oftest situasjonen i offentlig sektor; målene er omtrentlig definert som ønskesituasjoner og det er i mange tilfeller også mangelfull kunnskap om forholdet mellom mål og midler. Dessuten er ofte tiltakene, eller intervensjonene, komplekse i seg selv. Målinger av prestasjoner og resultater har sine begrensninger i slike situasjoner. De gir ingen kunnskap om sammenhengen mellom tiltak og effekt, eller hva det er ved et tiltak (hvilken mekanisme) som faktisk gir effekt. De tar heller ikke høyde for betydningen av den lokale konteksten. Både aktørene som er involvert og rammene de handler innenfor spiller en avgjørende rolle for hvordan noe fungerer, og det lar seg sjelden gjøre å overføre kunnskap direkte fra en sammenheng til en annen. Denne kritikken rammer også det vitenskapelige kontrollerte forsøket som evalueringsmetode, fordi det nettopp handler om å rydde kontekst, eller alle forhold som kan tenkes å påvirke forholdet mellom årsak og virkning, av veien. Krogstrup er kritisk til særlig amerikanernes tro på det kontrollerte eksperimentet som «gullstandard» for effektevalueringer, fordi det foregir å gi sikker kunnskap, eller høyest evidens, om hvordan noe virker på tvers av kulturelle og strukturelle forskjeller. Hun er også kritisk til rangeringen av hvilke metoder som gir evidens som ligger under her. I samfunnsvitenskapen er det ytterst sjelden en kan anslå med sikkerhet hvilke effekter et tiltak vil ha, og det er behov for flere og forskjellige måter å undersøke sammenhenger og mekanismer på. Det betyr ikke at evidensbegrepet er irrelevant, men at det må presiseres når det brukes det om forhold som angår mennesker og samfunn. En mye brukt måte å definere evidensbasert (eller kunnskapsbasert, som er det begrepet som ofte brukes norsk sammenheng) praksis på i blant annet helse- og sosialfagene, er å si at det er praksis basert på den best tilgjengelige forskningen kombinert med erfaringsbasert kunnskap og brukernes kunnskap og medvirkning 1).
KROGSTRUP gjør et poeng av å skille mellom deterministisk og probabilistisk effekt og evidens. Begrepene er kanskje litt uvante på norsk, men de viser til evidens som henholdsvis sikker kunnskap, som i fysiske lover, og sannsynlig kunnskap, det vil si den type kunnskap vi forholder oss til i samfunnsvitenskapene. Vi kan med ulik grad av sannsynlighet, men ikke med hundre prosent sikkerhet si at A vil føre til B gitt at ulike betingelser er tilstede. Måling av prestasjoner og resultater, eller effekter for den saks skyld, er nyttig i mange sammenhenger, men bør suppleres med effektevalueringer dersom en ønsker kunnskap om hvordan noe faktisk fungerer. Effektevalueringer skiller seg fra rene målinger ved at de i tillegg til å registrere og måle effektene, også undersøker og forsøker å si noe om sammenhengen mellom en innsats og resultatene eller effektene av den. Det gjelder for eksempel i det klassiske, kontrollerte eksperimentet. Et eksempel på nyere modeller for effektstudier er såkalt realistisk evaluering, der en tar høyde for den lokale konteksten og undersøker forho
