Evaluační výzkum

STÁHNOUT PDF

EVAULATION RESEARCH

Bc. Jakub KOVÁŘ

Katedra antropologických a historických věd, FF ZČU, Plzeň

Pri prvním setkání s pojmem evaluace muže mnoho antropologu pocitovat odpor.Tento postoj vetšinou pramení z  proklamované snahy nesoudit hodnotové, institucionální, organizacní a  jiné aspekty zkoumané reality - snahy, jež má základ v tradici kulturního relativismu. V této tradici se každé hodnocení stává implicitne nástrojem kulturní hegemonie a v zásade otevírá cestu pro nahlížení „tech druhých” prizmatem našich merítek. Paradoxem tohoto prístupu je, že sám hodnotí tyto snahy jako nesprávné a neuznává jedinou možnost, kterou by evaluace mohla (byt neprímo) prispet k rešení problému, které jsou soucástí rozhodnutí, jež ciníme jako sociální aktéri (Pomerantz 1984).
Problematika evaluace se tak vetšinou stává soucástí sociální práce1, kde nachází nejširší uplatnení v analýze fungování sociálních programu a politik. Použití evaluace v rámci sociální práce ji ovšem vystavuje zjevné vulgarizaci, pri které casto dochází pouze k jednosmernému zhodnocení úspešnosti implementace konkrétního sociálního programu na konkrétní sociální problém (Rubin a  Babbie 1989). Pri této redukci významu evaluace se zastírá potenciál tohoto nástroje, a to hlavne ve dvou oblastech. (1) evaluace se muže stát prostredkem tvorby verejných programu, které nejsou jen objektivním systémem, vždy ale také kulturním výtvorem lidí (Douglas a Isherwood 1979) a (2) evaluace není „teorie-prostá”, jen se casto explicitne nepriznávají její teoretická a metodologická východiska (Kelly 2004:526). Tím se tedy sama evaluace stává objektem sociálne vedních analýz a úvah. Její vztah k sociálne-vednímu (základnímu) výzkumu nám, doufejme, její soucasnou pozici priblíží.
Pojem evaluace je v praxi casto spjat s konceptem implementace. Charles Lindblom se v 70. letech snažil (pomocí svého inkrementálního modelu tvorby politických rozhodnutí) poukázat na pomerne banální pravdu a sice, že proces implementace odráží kolektivní racionalitu, která „svazuje individuální rozhodování se spolecensko-politickým kontextem jedince a s praktickou situací, v níž se rozhoduje.” (Winkler 2002:57) Považování implementace za sféru, v níž se potkává aktér a socio-politická struktura, se stalo rámcem evaluacního výzkumu až v posledních desetiletích. Pro pohled na evaluacní výzkum jako autonomní doménu vedeckého bádání bych proto zameril na ruzné evaluacní strategie, jejich vývoj, vzájemný vztah i  jejich vztah k jiným doménám sociálních ved. Objeví se definice i  elementární typologie evaluacního výzkumu.
Návodu na vedení evaluace existuje nepreberné množství, ale možnosti jejich aplikace je treba brát s rezervou. Huey-tsyh Chen (2004) zpochybnuje univerzální použitelnost techto manuálu z duvodu odlišných koncepcí jednotlivých sociálních programu. Presto predstavím nekolik užitecných analytických nástroju, které uvedl do evaluacního výzkumu práve zminovaný velikán svého oboru. Jelikož podle mne není lepšího zpusobu vysvetlení výzkumných nástroju, než jejich aplikace, budu se snažit dokazovat a ilustrovat svá tvrzení na konkrétní, již provedené evaluaci. Tímto bych rád uvedl, že prekládané príklady jsou soucástí projektu Evaluace preventivních aktivit na tanecní scéne, který probehl v léte roku 2008 v Terénním programu CPPT o.p.s. Plzen (dále jen TP).


Evaluacní výzkum/základní výzkum (sociálne-vední výzkum)
Naše každodenní neformální interakce je protnutá mnoha soudy a hodnoceními, které
bud úcelove, nebo nevedome pomáhají trídit naší sociální realitu. Tato kategorizace na škále dobrého a špatného, prospešného a škodlivého atd. v  sobe zahrnuje princip hierarchie, jež implicitne vychází z našeho presvedcení. Evaluacní výzkum se liší od našich každodenních soudu tím, že toto presvedcení (nejcasteji v pozici verejné politiky, vedeckého diskursu, politické ideologie atd.) reflektuje.
Hlavní odlišnosti evaluacního a základního výzkumu nehledejme v jejich designu, technikách sberu dat, ani metodách jejich analýzy. Hlavním rozdílem je jejich úcel. „Evaluace je orientována na aktivitu („action oriented“).2 Je vedena se zámerem ovlivnit hodnotu („value“) nebo dopad („impact“) politiky, programu, praxe, intervence nebo služby, je vedena z pohledu tvorby doporucení nebo zmeny“ (Clarke 1999:vi). Z pozice sociální vedcu je casto vedena ostrá hranice mezi základním a evaluacním výzkumem s  ohledem na to, že základní výzkum se nesnaží být (dokonce se tomu casto explicitne vyhýbá) politicky i jinak angažovaným. Další význacný rozdíl spocívá v tom, že sociálne-vední výzkum má casto explorativní charakter. Celý výzkum se pak „snaží sledovat pohybující se cíl“ (Peers a Johnson 1994:23), kdy se priority výzkumu mohou v jeho prubehu menit a to, co bylo puvodne centrálním, se stane okrajovým a naopak. V souvislosti s  úcelem obou druhu výzkumu se liší i zpusob publikace jejich výsledku.
Zadavateli evaluacních výzkumu jsou nejcasteji lidé nebo organizace (stakeholders),3 kterí potrebují konkrétní druh informací o konkrétním problému a nemají potrebu výsledky evaluacního výzkumu kdekoliv uverejnovat. Výsledky techto výzkumu tedy nemohou být vystaveny (riziku) popperovské falzifikace a tím vytvárejí specifickou doménu vedení, která casto existuje sama pro sebe. Temto narcením se samozrejme evaluacní výzkumníci a stakeholders brání; nejcasteji s poukazem na to, že evaluacní výzkum je vytváren pro konkrétní (sociální) program a ten se nachází v oblasti hájemství sociální práce, pro kterou se však stalo reformní paradigma4 vzhledem ke svému marxistickému nádechu ponekud problematickým (Reznícek 1994:16-19).

PRAXE 1: Evaluace programu DANCE-8 se stala podkladem k inovaci interní metodiky
práce, avšak pri snaze o publikování jejích výsledku v odborném casopise Adiktologie se
nestrhla vlna zájmu ze strany stakeholders. Zarážející je to zvlášte u programu, jejichž
existence je záležitostí pomerne mladou (necelý rok) a raritní (v CR fungují 3 programy
podobného zamerení) a tudíž vliv výsledku evaluace na vývoj koncepce takových služeb
(politiku jejich vytvárení) muže být znacný.


Klasikové evaluacního výzkumu Peter Rossi a Harrine Freeman shrnují rozdíly mezi základním a evaluacním výzkumem takto:

TABULKA 1: rozdíl mezi základním a evaluacním výzkumem

Zdroj: Rossi a Freeman (1993:405)5

Jirí Winkler si v souvislosti s povahou evaluacního výzkumu (a jeho vztahem k  „sociální vede“) klade otázku, zda by mel evaluacní výzkum hledat svou vední etablovanost v managementu, jako „aplikované vede o ekonomickém rízení“, nebo v „‘policy science‘6, jako specifické sociální vede zabývající se politickým procesem“ (Winkler nedat.:1). Již samotná otázka preklenuje pochybnost o vedeckosti evaluacního výzkumu tím, že ho staví jako pokracovatele starších tradic, z nichž príznacne žádná není dominantní, a obe nakonec spocinou v dialektickém vztahu. Podle Winklera lze práve na evaluaci (potažmo implementaci) v bourdieovském duchu vhodne demonstrovat „významovou distinkci pojetí racionality spolecenského života, která se stala ústredním faktem nesouladu mezi sociologií a ekonomií…“ (Winkler 2002:22). Diskuze o orientovanosti evaluacního výzkumu smerem k „manažerismu“, nebo „policy science“, ovšem nestírá rozdíl mezi výzkumem 

evaluacním a základním, nebot ani „policy science“ nefunguje jako standardní sociální veda – nepracuje s  paradigmaty, diskursy…nestaví hypotézy, ani nekonstruuje teorie.


Evaluacní výzkum jako samostatná doména
Definice evaluacního výzkumu
V prístupech k urcení podstaty evaluacního výzkumu uvedu jen nekolik jeho Elementárních definic a dále se budu venovat spíše ruzným druhu evaluacních výzkumu. Takovým postupem se nechci vyhnout exaktní definici tohoto druhu výzkumu, pouze jsem presvedcen o nutnosti postoupit od ‚fetišizace pojmu´7 k metodologickému pohledu.
Pro úplnost tedy predkládám tri definice evaluacního výzkumu:

1. sociálne-vední aktivita zamerená na sber, analýzu, interpretaci a poskytování
informací o fungování a efektivite sociálních programu. (Rossi et al. 2004:2)
2. používám pojem evaluace dosti široce tak, aby zahrnoval jakékoli úsilí ke zvýšení
lidské efektivity prostrednictvím systematického empirického zkoumání…pokud
nekdo zkoumá a soudí výsledky a efektivitu, tak se zabývá evaluací. Pokud je toto
zkoumání vedeno systematicky a empiricky prostrednictvím peclivého sberu dat a
pozorné analýzy, tak lze mluvit o výzkumu. (Patton 1990:11)
3. profesionální evaluace je definována jako systematické ovlivnení kvality nebo hodnoty neceho. (Scriven 1991)

Každá z jednotlivých definic referuje o specifickém zpusobu hodnocení, ale žádná z nich nepodává príliš konkrétní a aplikovatelný obraz evaluace.8 Prínosnejším tedy bude zamerit se na parciální charakteristiky evaluace.


Evaluacní strategie
Jednotlivé evaluacní strategie se vždy formovaly kolem význacných osobností daného
oboru. Vždy také platí, že jednotlivé strategie se ve své aplikaci málokdy vyskytují ve
své „cisté“ forme a jejich užití se v praxi rídí spíše charakterem problému, než snahou
o jejich rigidní následování. Z pohledu nekterých autoru (viz Green 1998) se toto ex post rozdelení nedá považovat za prínosné a to zvlášte z  toho duvodu, že všechny evaluacní strategie v podstate sdílejí podobnou metodologii a príliš nereflektují otázku programové ideologie. Je tomu však skutecne tak?


• A vedecko-experimentální modely (postpositivismus)

Jedná se o pravdepodobne nejstarší prístup k evaluaci, založený na metodách (nejcasteji) sociálních ved. Uprednostnují nestrannost, exaktnost, objektivitu a validitu analyzovaných a predkládaných dat. Mezi nejcasteji používané metody tradicne patrí experimenty a  quasi-experimenty, ekonometricky orientované perspektivy (analýzy nákladu x efektivity, výsledku). Mezi proponenty tohoto prístupu radíme Michaela S. Scrivera a Donalda T. Campbella.

• B modely orientované na management systém (pragmatismus)

Mezi nejcastejší prístupy v rámci techto modelu patrí Program Evaluation and Review Technique (PERT) a Critical Path Method (CPM). Oba se hojne používají v business sfére a u vládních programu. Tento prístup je cástecne reakcí na zklamání z nadužívání vedeckých metod, což je patrné v  odklonu od teorie a v preferenci (povetšinou) ekonomických kritérií hodnocení programu. Mezi hlavní reprezentanty tohoto proudu patrí v  první rade Michael Patton.

• C kvalitativní/antropologické modely (interpretativismus)

Nevýhodou predchozích prístupu byla neschopnost zahrnout do hodnocení programu stanoviska aktéru. Nastává tedy obrat k aktérovi a jeho hodnotám. Mezi Uprednostnované metody výzkumu patrí pozorování, ale i potreba znovu zahrnout
fenomenologický rámec evaluacního kontextu. Autori patrící k  tomuto smeru evaluace se nazývají „Ctvrtou generací“ (byt jsou ve všech prehledech razeni na tretí místo) a jejich pluralitní prístup se nejjasneji znací v dílech Egona Guby a Yvonne Lincoln (Smutek 2005).

• D na úcastníka orientované modely (integrativní prístup)

V této poslední a nejrecentnejší kategorii se evaluátori soustredí v  první rade na stakeholders, ale také na samotné klienty programu a  technologii (vcetne technologie
moci, ideologie). Tyto proudy se nekdy prohlašují za otevrene ideologické, se snahou
o emancipaci konkrétních sociálních skupin. Ve svých pracích se autori jako Peter Rossi nebo Lee Cronbach snaží integrovat výhody predešlých prístupu ve snaze vytváret komplexní evaluacní výzkum.

U výše zmínených evaluacních strategií se zdá na první pohled nápadná analogie
s chronologickým a logickým vývojem paradigmat v sociálních vedách jako takových. Dobrodružství evaluace dalo by se považovat za bezchybný príklad toho, co Kaplan (1964) nazval „zákonem kladiva“9. Zástupy programu, služeb, organizací a politik, které by mely být evaluovány se rozrustají a soucasné dobe již nepochází tato snaha pouze od centrální vlády, která je stále dominantním tvurcem verejných politik, ale stále casteji prorustá i do komercní sféry (Kelly 2004). Velký rozkvet evaluací nastal v 60. letech minulého století jako reakce na sociální plán ‚velké spolecnosti‘ (v USA)

PRAXE 2: Požadavek na maximálne participativní model evaluace se stává v nekterých
kontextech neadekvátním. U evaluace programu DANCE-8, který funguje v oblasti
(sekundární) protidrogové prevence bychom tak vedle klientu programu a stakeholders
meli v ideálním prípade zahrnout do evaluace i dealery omamne psychotropních látek
(OPL), stejne jako policisty z Národní protidrogové centrály (NPC).


(Pawson a Tilley 1997:3). V té dobe se Campbell v USA proslavil svou knihou „Reforms and Experiments“ s vizí „experimentálního prístupu k reformám spolecnosti“ (Pawson a Tilley 1997:6), címž se dopustil heroického omylu zanedbáním role teorie a analýzy verejných politik. Tehdy proponované metodologické prístupy k evaluaci (strategie A) stavely na tradicích ‚molární‘ kauzality a to v dobách, kdy antropologie již za sebou mela okouzlení (strukturálním) funkcionalismem a do módy pricházel strukturalismus. David L. Martinson ve své studii z roku 1974 analyzoval data ze 1400 evaluacních manuskriptu a poukázal na další negativum takto vedených evaluacních výzkumu. Vetšina z evaluacních výzkumu té doby totiž podle nej ukazuje, že vlastne ‚nic nefunguje‘ tak, jak by melo10. V dusledku toho dochází k transformaci ci rozpadu puvodních programových cílu v prubehu jejich realizace (Winkler 2002). Tato skepse vedla ke vystrízlivení z ciste kvantitativních (experimentální) prístupu k evaluaci, mezi jejichž typické reprezentanty mužeme radit metodu pre-test b post-test.
V 70. letech tedy vstupuje do evaluacního výzkumu politika („politics“) a její nahlížení prizmatem manažerského paradigmatu (strategie B), pro který se stává centrálním zpusob stanovení cílu politického programu. Evaluace se zacíná zamerovat na procesuálnost politiky, na mechanismy a nemenné elementární struktury politického systému, které determinují vytvárení sociálních programu. Pro evaluaci se v tomto smeru stali východiskem manažerské postupy, stejne jako pro strukturální antropologii perspektivy lingvistické (viz Lévi-Strauss 2006). Duraz na ekonomickou a utilitární predstavu evaluace se projevuje v eklekticismu metod s durazem na srozumitelnost pro tvurce verejných politik, kterí výzkumné zprávy zkrátka nectou a je proto nutné „infiltrovat jejich chápání sveta nekanonizovanými výzkumnými zjišteními“ (Weiss a Buculavas 1980:90).
Približne po dalších deseti letech se evaluacní výzkumy staly dejištem dalšího vystrízlivení, když se do struktury zacal stále casteji promítat vliv aktéra. Objekt rozhodování byl postaven na roven rozhodovacímu subjektu (strategie C)11. Netreba
pripomínat, že jedním z prvních, kdo rehabilitoval jednajícího aktéra v sociálních vedách je Pierre Bourdieu. 
Konstruktivistický zájem se presunul od zjištení ‚zda neco funguje‘ k procesu, ve kterém se implicitní ideje aktéru (na pozicích pracovníku programu) kríží s oficiálními schématy a politikami. Sociální realita spocívá na vzájemném vyjednávání („negotiation“) významu. Pokud bychom oznacili postpozitivistický proud evaluace v intencích analýzy symbolické komunikace za analýzu obsahu sdelení a pragmatický proud za analýzu povahy komunikátora, tak interpretativní proud muže sloužit jako analogie analýzy publika.
Podstatným rysem interpretativního modelu je rehabilitace kvalitativních metod. Jako v každém jiném výzkumu se kritéria pro aplikaci konkrétní metody odvíjejí od povahy výzkumného problému. At již se jedná o sber dat – prostrednictvím rozhovoru, focus groups, pozorování, video nebo audio nahrávek; stejne jako užití analytických rámcu – zakotvená teorie, kritická diskursivní analýza, konverzacní analýza, etnografie nebo narativní analýza, musíme mít vždy na zreteli naše možnosti i úcel evaluacního výzkumu. Eleanor Chelimsky v  této souvislosti ponekud cynicky poznamenává, že „je sotva prozíravé vstupovat do žhavé politické debaty vyzbrojena pouze prípadovou studií“ (Chelimsky 1987:27). Použití mikrosociologických a antropologických metod na druhé strane nabízí mnoho výhod. David Silverman (1994) argumentuje, že pri užití kvantitativních metod je v evaluacním výzkumu: (1) kladen duraz na to, jak se konkrétní fenomén konstituuje v  každodenních situacích, (2) jsme schopni lépe odpovedet na otázku „proc?“, nebot z dat získaných z každodenních situací máme znalost toho „jak“ a (3) pro nás snadnejší vést dialog s pracovníky programu, protože víme, jak se v daných situacích chovají.
Na prelomu 80. a 90. let se prosazuje komplementární hledisko, které se snaží syntetizovat všechny predešlé proudy (strategie D). Skutecným titánem sociologické metodologie tohoto období byl bezpochyby Lee J. Cronbach12, jenž se k  záveru své akademické kariéry dopracoval k funkcionálne diachronnímu prístupu k sociálnímu zkoumání. Cronbach poskytuje evaluátorum soubor symbolu k definování domén evaluace. Domény tvorí jednotky („units“), rešení („treatment“), pozorování („observations“), výstupy („outcomes“) a  nastavení („settings“) – s bežne používanou zkratkou pro celý soubor UTOS. Zajímavejším se však zdá Cronbachovo prirovnání evaluátora ke  ctenári. Sociální program, stejne jako verejné politiky, se pro nej stávají textem (Shadish et al. 1991). V tomto kontextu se inspirativními stávají jednak studie francouzských dekonstruktivistu, tak i  antropologicky vedené pokusy o rozumení kulture, skrze to, jak jsou tvoreny její texty a texty o ní (viz Clifford, Marcus 1986). Jean-Francois Lyotard vidí v metanaracích moderní spolecnosti legitimizaci mocenských zájmu. Jednou z techto metanarací se stává i  vyprávení o Rovnosti a Pokroku, na kterém stojí sociální programy a  jejich evaluace. Cronbachuv prístup by spíše než v derridovskému rešení odkazoval k Habermasovo modelu plurality verejných prostoru. Z tohoto diskursivního pojetí verejného prostoru, do kterého by mela zasahovat i  evaluace, se etablovaly napríklad feministické kritiky verejných politik (Benhabib a Cornell 1987).
Ve snahách o integrativní uchopení evaluacního výzkumu se casto kritizuje jeho proveditelnost. Proto se, v  nekterý studiích, setkáváme s pomerne bizardním požadavkem na evaluaci evaluace (analýzu její proveditelnosti). Na tyto kritiky reagoval Peter H. Rossi, když uvedl pojem „dost dobrá“ evaluace, který pragmaticky rešil otázku výzkumného designu. Spolecne s Huyem Chenem postavili základ evaluace vedenou teorií („theory-driven“) (Chen a Rossi 1983). Evaluacní výzkum se dostává do role tvurce programové teorie, kterou následne testuje a tím na jedné strane odhaluje významy, které mohou být aktérum skryté, a na druhé strane proveruje empiricky jejich platnost (Chen a Rossi 1983). Pro „dost dobrou“ theory-driven evaluaci je nutné provést podrobnou analýzu programu a zpracovávat tak co nejlépe definované soubory informací.
Integrativní prístup se projevil i na metodologické rovine, kdy dochází ke kombinaci kvantitativní a  kvalitativní metodologie („mixed methods“) (Rallis a Rossman 2003). Newman a Benz (1998:9) nazývají bifurkaci kvantitativních a  kvalitativních metod jako „falešnou dichotomii“ vytvorenou predchozími paradigmaty. V prípade theory-driven evaluace se zdá použití mixed-methods nezbytné (vytvárení i testování teorie).

PRAXE 3: Evaluacní výzkum byl casto kritizován za svou neteoreticnost a
„bezhodnotovost“ (Pawson a Tilley 1997:13). V oblasti protidrogové prevence se
vyskytují dva komplementární modely (teorie) závislosti: (i) medicínský model –
závislost je nemoc (ii) bio-psycho-socio-spirituální model – urcení závislosti
kontextuálne. (Kudrle 2003) V oblasti a terciální (i primární) prevence, na které
pracuje program DANCE-8, se dlouhodobe uplatnuje teorie harm reduction –
snižování rizik spojených s užíváním OPL, vycházející cástecne ze strategie ochrany
verejného zdraví (Public Health) (Hrdina a Korcišová 2003). Všechna tato teoretická
ukotvení je treba reflektovat pri vztahování evaluace k programové teorii.


Další typologie evaluacního výzkumu
Predchozí kapitola prezentovala vývoj evaluacního výzkumu prostrednictvím jeho strategií. Nyní bych se chtel zamerit na statictejší typologie, které jsou prínosné nejen v tom ohledu, že je s nimi bežne zacházeno v praxi evaluacního výzkumu a jejich definice slouží k jejich snadnejšímu ctení i  vytvárení.

Formativní a sumativní evaluace
Tato dichotomie predstavuje nejelementárnejší rozdelení evaluacního výzkumu na (i) orientování na proces („action-oriented“), tedy formativní a (ii) orientování na výsledky („conclusion-oriented“), tedy sumativní. Michael Scriven (1991) vnímá oba typy jako oddelené vetve, které se v  evaluacním výzkumu neprotínají. Nejprve totiž získáváme data a poté k  nim prirazujeme hodnoty, významy (které mají pro stakeholders, politiky, nebo klienty). Základní rozdíly nabízí následující tabulka:

TABULKA 2: rozdelení sumativní a formativní evaluace

Zdroj: Clarke 1999:8, prevzato a modifikováno ze Smutek 2005:29


Byt se nekterí autori (Nachmias 1980) snaží, vedle rozdelení na sumativní a  formativní evaluaci, propagovat další dva odlišné typy (i) evaluaci procesu a (ii) evaluaci dopadu, tak je nutno poznamenat, že tyto typy se vztahují spíše na problematiku „implementacního deficitu“, než k  problematice hodnocení sociálního programu jako takového. Duležitým se však stává požadavek na provázanost obou prístupu. Jinými slovy, sumativní evaluace se neobejde bez evaluace formativní, protože v  momente, kdy nám sumativní evaluace sociálního programu odhalí, že program nepracuje, jak by mel (což by vhodne vedená evaluace mela), tak bez zhodnocení formy fungování nejsme schopni posoudit, zda se tak stalo v dusledku špatného nastavení programu (verejné politiky), nebo (jen) program nefunguje, jak by mel (Rossi et al. 1999:40).


Chenova typologie evaluace
Komplexní typologii evaluace teorií vedenou („theory-driven“) predstavil již zminovaný Huey Chen. Programová teorie podle Chena (2006:16-20) obsahuje implicitne dva druhy teorií (1) deskriptivní [normativní teorie], jež operuje s tím, jak by program mel fungovat, s jeho cíli a hodnotami a  (2) deskriptivní [kauzální teorie], která se orientuje na kauzalitu fungování programu a mechanizmus naplnování cílu sociálního programu13. Pod krídly jednotlivých teorií se formují specifické domény, na které navazují konkrétní metody hodnocení programu.

DIAGRAM 1: Chenova hierarchie v evaluaci



Zdroj: prevzato a modifikováno z Chen 1990: 53


Hranice mezi jednotlivými prístupy jsou pevné v tom smyslu, že nedovolují napríklad vztahovat výsledky z evaluace intervencního mechanismu k  normativní teorii. Ale naopak v rámci jedné evaluacní studie bychom meli používat kombinaci prístupu z obou vetví programové teorie. Hogwood a  Peters (1985) také upozornují na hranicní charakter evaluacního výzkumu, když tvrdí, že se nachází mezi analýzou politického procesu a analýzou pro politický proces. Predtím, než se pustíme do samotné evaluace, bychom se podle Chena (2006) meli zastavit u identifikace stádia, ve  kterém se evaluovaný program nachází. Mezi konkrétní evaluacní cíle toto zjištení zarazuje i Winkler (2006:2) a uvádí též
prehlednou typologii.



Na tomto míste bych zmínil, že evaluace (zvlášte v podání Chena) se považuje za holistickou a interdisciplinární. Interdisciplinarita se projevuje v integrovanosti mnoha metodologických prístupu a snahou o  využití perspektivy mnoha ruzných oboru (viz kap. 3.2). Holismus evaluace spocívá v nutnosti zahrnovat do hodnocení co nejvíce zainteresovaných subjektu. Peter Rossi a Harrine Freeman (1993) predkládají 9 ruzných kategorií, které by se v zásade daly syntetizovat do trí skupin subjektu determinující (evaluovaný) sociální program. Já k  temto devíti pridávám kategorii desátou a to „osobu evaluátora“, jenž vystupuje v mnohdy rozdílných úlohách. Napríklad muže být interním zamestnancem evaluovaného sociálního programu. Tuto možnost navrhuje napríklad Aaron Wildavsky, když tvrdí, že taková osoba by mela být „oddána urcitým modum rešení problému“ (Wildavsky 1980 in Smutek 2005:114) a do budoucna by se mela stát fundamentem pro model sebeevaluující organizace (Wildavsky 1980 in Smutek 2005:114). V této pozici se však evaluátor muže velice snadno dostat do konfliktu rolí (evaluátor x zamestnanec). V souvislosti se zainteresovaností evaluátora na chodu programu lze rozlišovat i evaluaci participativní („participatory“ nebo „collaborative“) a nezávislou („independent“) (Rossi et al. 2004:57).

1. Stakeholders

Tvurci politických rozhodnutí

Tvurci programu

Sponzori programu

Sponzori evaluacního výzkumu

Manažeri programu

Zamestnanci programu

Konkurenti programu



2. Klienti

jednotlivci, domácnosti, komunity, organizace

3. Výzkumný pracovník (evaluátor)

Evaluacní a výzkumné komunity

Osoba evaluátora


V prubehu evaluace dochází k ne/prímé konfrontaci mezi jednotlivými skupinami subjektu (jejich zástupcu) i mezi subjekty uvnitr techto skupin. Kontext evaluace casto promenuje charakter techto konfrontací.

PRAXE 4: Program DANCE-8 se v dobe své evaluace nacházel ve stádiu pocátecní implementace (fáze programu 2 a 3). V této fázi byla tedy soucinnost stakeholders a
evaluátora velice intenzivní. Jako nejkomplikovanejší se v prubehu evaluace ukázala míra
zapojení klientu (prímých i neprímých v pozicích majitelu klubu a poradatelu tanecních
akcí). U sberu dotazníku (provádených s prímými klienty) bylo nezbytné využít služeb
dobrovolníku (aby nedocházelo ke konfrontaci mezi klienty a pracovníky programu) a
v prípade focus groups s majiteli klubu a poradatelu tanecních akcí se v jejich prubehu
ukázala nevhodnou moderace diskuze evaluátorem, který byl zároven interním
zamestnancem programu . Vetšina otázek pak smerovala na jeho osobu a nedocházelo
tak k interakci mezi úcastníky focus group.


Evaluátor vystupuje v nekolika rolích a to zvlášte jako poskytovatel informací, vyhledávac potencionálních obtíží („troubleshooter“), facilitátor, konzultant a školitel („illuminator“) (Chen 2005). Podobnost s rolemi antropologa jak je vymezil John van Willigen (2002) se vyložene nabízí - aplikovaný antropolog by mel fungovat ve verejné i soukromé sfére jako instruktor, výzkumník nebo konzultant.


Závěr
Klasik sociologické teorie Robert K. Merton se, v návaznosti na mnoho svých predchudcu, venoval problematice nepredvídaných dusledku zámerného sociálního jednání. Merton videl dve metodologické nástrahy samotné analýzy tohoto problému. První se týkala „problému zjištení kauzální souvislosti, problému zjištení míry, v níž lze ‚dusledky‘ oprávnene pripsat jistému jednání“ (Merton 2007:120). Druhý problém spocívá ve  „zjištení skutecných zámeru daného jednání“ (Merton 2007:120). Merton (2007) prisuzuje v konecném dusledku nejvyšší kritérium weberovskému „smyslu“, který by mel být zjevný ze srovnání naší znalosti aktéra, kontextu a samotného jednání s deklarovaným nebo dedukovaný zámerem tohoto aktéra.
V evaluacním výzkumu se tyto dve metodologické nástrahy stávají jeho obsahem. Evaluace formativní (procesu) a sumativní (výsledku) tvorí základní rámec, ze kterého poté vychází konkrétní analýza, hodnocení daného sociálního programu. Ve svém vývoji si evaluacní výzkum prošel nekolika stádii a soucasná snaha o jeho hypertrofii do (bezmála) všech oblastí verejného i soukromého života se setkává s deziluzí, casto i ze strany samotných teoretiku evaluace. „Jsme casto zklamaní. Po celé té Bouri a Vzdoru, který se s evaluací zvedne a poté, co analyzujeme její výsledky, nakonec zjistíme, že nám k  nicemu nebyla. Veci jdou stejne dál vlastní cestou, aniž by je evaluace nejak ovlivnila.“ (Weiss a Buculavas 1980:171). Stala-li se evaluace mantrou modernity, tak predne v oblasti analýzy úspešnosti implementace verejných sociálních politik „shora-dolu“. Postupný duraz na aktéra a  jeho vliv na (organizacní) strukturu, jak ho chápal napríklad Michel Crozier (1964) obrací pozornost na tvorbu rozhodnutí „zdola-nahoru“. Analýza obou techto smeru, stejne jako duraz na integrativní výzkumné strategie je mantrou dnešního evaluacního
výzkumu.
Aplikovaná antropologie staví deklarativne evaluacní výzkum a roli antropologa jako evaluátora do pole své pusobnosti (viz Ervin 2005, van Willigen 2002). Evaluátor-antropolog muže (oproti evaluátorovi vzešlému z oblasti sociální politiky a práce) využít své obeznámenosti s teoriemi a  koncepty, kterými se rídí socio-kulturní realita, a tím poskytnout cennou zpetnou vazbu pro administrátory sociálních programu o možných dopadech jejich rozhodnutí. U evaluacních prístupu vedených teorií („theory-driven“) se tato perspektiva jeví nezbytnou. Zároven muže antropolog na základe terénního výzkumu odhalit, jak vnímají provedené intervence jejich objekty, klienti („insiders-perspective“). Evaluacní výzkum má samozrejme své limity, na nekteré jsem se také snažil poukázat, ale deziluze o evaluaci by nemela být vedená snahou „hlavne nehodnotit“.

Literatura
BENHABIB, S. a D. CORNELL. Eds. 1987. Feminism as critique: on the politics og gender. Minneapolis: University of Minnesota press.
BENZ, C. R. a I. NEWMAN. 1998. Qualitative-Quantitative Research Methodology: Exploring the Interactive Kontinuum. Carbondale, IL: Southern Illinois University Press.
CLARKE, A. 1999. Evaluation Research. London: Sage.
CLIFFORD, J. a G. E. MARCUS. Eds. 1986. Writing culture: the poetics and politics of ethnography. Berkeley: Univerzity of Kalifornia Press.
CROZIER, M. 1964. The Bureaucratic Phenomenon. Chicago: University of Chicago Press.
DOUGLAS, M. a B. ISHERWOOD. 1979. The World of Goods: Towards an Anthropology of Consumption. New York: Basic.
ERVIN, A. M. 2005. Applied Anthropology: Tools and Perspectives for Contemporary Praktice. Pearson/Allyn and Bacon.
FREEMAN, HARRINE a ROSSI, PETER. 1993. Evaluation: A systematic approach (5th.ed.). Neubury Park,CA: Sage.
HENDL, J. 2005. Kvalitativní výzkum: základní metody a aplikace. Praha: Portál.
HOGWOOD, B. W. a G. B. PETERS. 1985. The Pathology of Public Policy. Clarendon Press.
HRDINA, P. a B. KORCIŠOVÁ. 2003. „Terénní programy,“ in Drogy a drogové závislosti – mezioborový prístup, Eds. J. Radimecký a K. Kalina. Praha: Úrad vlády CR.
CHELIMSKY, E. 1987. The politics of program evaluation. Society 25(1): 24-32.
GEERTZ, C. 2000. Interpretace kultur. Praha: SLON.
CHEN, H-T. 1990. Theory-driven evaluation. London: Sage.
CHEN, H-T. 2006. Practical program evaluation. London: Sage.
CHEN, H-T a P. H. ROSSI. 1983. Evaluating with sense: The theory-driven approach. Evalution revue 7:283-302.
KAPLAN, A. 1964. The conduct of inquiry. San Francisco: Chandler.
KELLY, M. 2004. „Qualitative evaluation research,“ in Qualitative research praktice, Eds. D. Silvermanem, C. Seale, G. Gobo a J.F. Gubriem. London: Sage.
KUDRLE, S. 2003. „Úvod do bio-psycho-socio-spirituálního modelu závislosti,“ in Drogy a drogové závislosti – mezioborový prístup, Ed. J. Radimecký a K. Kalina. Praha: Úrad vlády CR.
LÉVI-STRAUSS, C. 2006. Strukturální antropologie. Praha: Argo.
MERTON, R. K. 2007. Studie ze sociologické teorie. Praha: SLON.
MILLS, CH. W. 2008. Sociologická imaginace. Praha: SLON.
OCHRANA, F. 2005. Evaluace ve verejné politice. Praha: CESES.
PATTON, M. Q. 1990. Qualitative Evaluation and Research Methods: A Systematic Approach. Kalifornia: Sage.
PAWSON, R. a N. TILLEY. 1997. Realistic evaluation. London: Sage.
PEERS, S. a M. JOHNSTON. 1994. „Theory, utility and stakeholders: methodological issues in evaluating a community project on HIV/AIDS,“ in
Challenge and innovation: methodological advances in social research on HIV/AIDS, Ed. M. Boulton.London: Tylor & Francis.
POMERANTZ, A. 1984. “Agreeing and disagreeing with assessment: Some features of preferred/dispreferred turn shapes”. in Structure of Social Action: Studies in Conversation Analysis. Eds. M. Atkinson a J. Heritage. Cambridge: Cambridge University Press.
RALLIS, S. S. a G. B. GROSSMAN. 2003. „Mixed methods in evaluation contexts: a pragmatic framework,“ in Handbook of Mixed methods in social & behavioral kontext, Eds. A. Tashakori a Ch. Tedllie. London: Sage.
RUBIN, A. a E. BABBIE. 1989. Research methods for social work. California: Wadsworth Publishing Copany.
REZNÍCEK, I. 1994. Metody sociální práce. Praha: SLON.
NACHMIAS, D. 1980. The Practice of policy evaluation. New York: St. Martin's Press.
SCRIVEN, M. 1991. Evaluation thesaurus. Newbury park: Sage.
SHADISH, W.R., T. D. COOK. a L. D. LEVITON. 1991. Foundations of Program Evaluation: Theories of Practice. Newbury Park, CA: Sage Publications.
SILVERMAN, D. 1994. „Anylysing naturally-occurring data on AIDS counselling; some methodological and practical issues,“ in Challenge and innovation: methodological advances in social research on HIV/AIDS, Ed. M. Boulton. London: Tylor & Francis.
SMUTEK, M. 2005. Evaluace sociálních programu. Hradec Králové: Gaudeamus.
ROSSI, P. H., H. E. FREEMAN a M. W. LIPSEY. 2004. Evaluation: a systematic approach. Thousand Oaks: Sage.
VESELÝ, A. 2006. Verejná politika a policy analysis. Pražské sociálne vední studie. Verejná politika a prognostika 1(15):1-26.
WEISS, C. H. a M. BUCULAVAS. 1980. Social Science Research and Decision Making. New York: Columbia University Press.
WILLIGEN, J. van. 2002. Applied antropology: an introduction. Greenwood Publishing group.
WINKLER, JIRÍ. 2006. Ucební text predmetu SPP 405. Dostupné na: , stáhnuto 18.12. 2009.
WINKLER, J. 2002. Implementace verejných programu a prístupy k jejich hodnocení.
Brno: ESF MU.

POZNÁMKY POD ČAROU

1 Kurzy „Evaluacního výzkumu“ jsou vyucovány na katedrách sociální práce a politiky. Okrajove na katedrách sociologie (viz www.fss.muni.cz, www.fsv.cuni.cz).
2 V textu budu, casteji než je obvyklé, používat anglické ekvivalenty pro pojmy spjaté s evaluacním výzkumem. Nejde ani tak o reprezentaci jazykových dovedností, ale o pragmatický ústupek anglicismum v  prípadech, pro které nemá ceština presný preklad, nebo již je habitualizováno jejich používání v anglické verzi.
3 Stakeholders: lidé, organizace, instituce, kterí/které jsou nejakým zpusobem zaangažováni/y ve fungování (evaluované/m) služby, programu, organizace. Nejcasteji se jedná o politiky, programové administrátory, zamestnance, donátory.
4 „V tomto paradigmatu se predstava sociálního fungování pojí s vizí spolecenské rovnosti…podporou spolupráce a solidarity v  rámci urcité spolecenské skupiny…Sociální práce se proto zameruje na zmocnování (empowerment) jednotlivcu i skupin….“ (Matoušek 2001: 187-188)
5 Velmi podobnou tabulku uvádí ve své publikaci Kvalitativní výzkum: základní metody a aplikace Jan Hendl, ten ji ovšem vydává za svou vlastní (viz Hendl 2005:291).
6 Ve slovníku aplikované antropologie by „policy science“ nejspíše figurovala jako „policy analysis“ nebo „analýza politiky“ (viz Veselý 2006).
7 S tímto slovním spojením operuje Charles W. Mills (viz Mills 2008).
8 Názvy prací vetšiny autoru zabývajících se evaluací pritom paradoxne aplikovatelností a
pragmaticností jen hemží (viz seznam literatury).
9 Jakmile dáte díteti do ruky kladivo, tak brzy pozná tu univerzální pravdu, že vše co lze, musí být pritluceno (Kaplan 1964).
10 V kontextu (soucasného) evaluacního výzkumu toto není chápáno jako neúspech. Jinými slovy, nelze
zde použít rétorickou figuru o konstrukci úspechu skrze tvrzení, že ‚vše funguje‘. Je však nezbytné do
analýzy prícin ‚nefungování‘ zahrnout i vliv samotné programové teorie, potažmo verejných politik.
11 Na úrovni rozhodovacího subjektu mužeme také uvažovat na úrovni (i) individuálních aktéru verejné
politiky (konkrétní ministr) a (ii) nad-individuálními subjekty verejné politiky (vláda) (Ochrana 2005).
9 Jakmile dáte díteti do ruky kladivo, tak brzy pozná tu univerzální pravdu, že vše co lze, musí být pritluceno (Kaplan 1964).
10 V kontextu (soucasného) evaluacního výzkumu toto není chápáno jako neúspech. Jinými slovy, nelze
zde použít rétorickou figuru o konstrukci úspechu skrze tvrzení, že ‚vše funguje‘. Je však nezbytné do
analýzy prícin ‚nefungování‘ zahrnout i vliv samotné programové teorie, potažmo verejných politik.
11 Na úrovni rozhodovacího subjektu mužeme také uvažovat na úrovni (i) individuálních aktéru verejné
politiky (konkrétní ministr) a (ii) nad-individuálními subjekty verejné politiky (vláda) (Ochrana 2005).
12 Ve statistice se dodnes používá jeho koeficient reliability ‚Cronbachovo alfa‘ a teorie zobecnitelnosti.
V oblasti evaluace se zabýval hlavne evaluací vzdelávacích programu. V  záveru své akademické dráhy se staví pesimisticky k možnostem sociálního výzkumu, když tvrdí, že „výzkumný design je spíše umením, než vedou“ (Cronbach 1982 in Shadish et al. 1991:349).
13 Analogii k Chenovo konceptu preskriptivní a deskriptivní teorie by mohla predstavovat
sémiotická teorie kultury Clifforda Geertze. Geertz tvrdí, že na jedné strane existují symboly, které fungují jako „modely neceho“ (výklad a  interpretace reality), a na strane druhé mohou symboly fungovat jako „modely pro neco“ (návod a informace k organizaci reality) (Geertz 2000).

Bc. Jakub Kovář