Het geheim van de smid

Tijdschrift voor Psychotherapie
© Bohn, Stafleu van Loghum 2015
10.1007/s12485-015-0003-1

Artikelen

Het geheim van de smid
Visie van de behandelaar in de ggz op werkzame factoren in therapie

Yael Meijer1, 2 Contact Information Else de Haan3

(1)  werkzaam bij Praktische GGZ, Zoetermeer, The Netherlands
(2)  Amsterdams Centrum voor Familietherapie, Amsterdams, The Netherlands
(3)  Universiteit van Amsterdam, Amsterdam, The Netherlands

: 17  2015

Samenvatting  
De discussie over de werkzame factoren van een behandeling is binnen wetenschap en maatschappij niet nieuw. Opvallend is echter, dat de behandelaar zelf nauwelijks in deze discussie betrokken wordt, terwijl deze juist degene is die invloed heeft op diverse werkzame factoren. Dit onderzoek richt zich op behandelaren en hun visie op de werkzame factoren binnen de eigen behandelingen. Er namen meer dan driehonderd behandelaren deel aan het onderzoek. Bekeken werd wat hun visie was, of zij handelden naar hun visie en of achtergrondkenmerken van invloed waren op deze visie. Tot slot werd er gekeken in welke mate de visie van de behandelaren over werkzame factoren overeenkomt met de bevindingen van wetenschappelijk onderzoek. Uit de resultaten blijkt dat behandelaren de behandelrelatie als meest belangrijke werkzame factor beoordelen. Effectmeting, een belangrijk aspect van Routine Outcome Monitoring, wordt nauwelijks genoemd. Er blijkt weinig verschil in visie tussen behandelaren en deze komt grotendeels overeen met de huidige stand van zaken binnen de wetenschap. De kloof is echter nog niet geheel gedicht. Behandelaren blijken de waarde van metingen (en het effect ervan op de behandeluitkomst) onvoldoende te onderkennen. Op dat vlak valt nog een wereld te winnen.
drs. y.n. meijer, klinisch psycholoog, is werkzaam bij Praktische GGZ te Zoetermeer, Fier te Leeuwarden en het Amsterdams Centrum voor Familietherapie.
prof. dr. e. de haan, psychotherapeut, is werkzaam bij de Universiteit van Amsterdam en De Bascule en is bijzonder hoogleraar cognitieve gedragstherapie bij kinderen en adolescenten aan de Universiteit van Amsterdam.

Inleiding

Het maatschappelijk debat over effectieve zorgverlening laait ook ten tijde van de transitie weer hevig op. Effectiever behandelen, betere resultaten en minder kosten lijken het voornaamste doel. Hoe dit zou moeten gebeuren, is echter de grote vraag. Een constructieve wijze waarop dit zou kunnen gebeuren, is aandacht hebben voor het onderzoek naar de werkzame factoren van behandelingen binnen de geestelijke gezondheidszorg. In de wetenschappelijke literatuur is daar al langer aandacht voor. Na een periode van discussie tussen voorstanders van specifiek werkzame factoren (Stewart & Chambless, 2009; Weisz e.a., 2006) en voorstanders van algemeen werkzame factoren (Ahn & Wampold, 2001; Norcross, 2002; Duncan, e.a., 2010), lijkt er nu ruimte voor de zoektocht naar het geheim van de smid: een integratief model, waarin zowel specifieke factoren (therapeutische technieken) als algemeen werkzame factoren (overtuiging, empathie en behandelrelatie) in hun samenspel vertegenwoordigd zijn (Sexton, e.a., 2004; Sprenkle & Blow, 2004; Pijnenburg, 2010).

In deze zoektocht lijkt echter een belangrijke aspect onderbelicht te blijven: de visie van de behandelaar op deze werkzame factoren. Als de behandelaar al betrokken wordt bij het onderzoek, dan gaat het om specifieke therapeutfactoren (Crits-Cristoph e.a., 1991; Cella e.a., 2011) of om onderzoek dat zich richt op het dichten van de kloof tussen de stand van de wetenschap en de implementatie van de kennis in de praktijk (Van der Linden & De Graaf, 2010). Uiteindelijk is het echter de behandelaar die in de spreekkamer bepaalt op welke manier er zorg wordt verleend en welke werkzame of minder werkzame factoren daarbij worden ingezet.

In het hier beschreven onderzoek zijn behandelaren in de ggz gevraagd naar hun visie over werkzame factoren in hun eigen behandelingen en of zij de door hen belangrijk geachte werkzame factoren ook daadwerkelijk inzetten of toepassen. Vervolgens is gekeken of de achtergrond van de behandelaar (referentiekader, werkervaring) van invloed was op deze visie. Tot slot is bekeken of er sprake is van een verschil in visie tussen de behandelaren in de praktijk en de uitkomsten van recent wetenschappelijk onderzoek.


Onderzoeksvragen

Het onderzoek heeft als uitgangspunt de volgende vragen:

– 
Welke werkzame factoren spelen volgens de behandelaren een belangrijke rol in het effectief kunnen behandelen?
– 
Handelen de behandelaren ook naar de factoren die zij als belangrijk hebben beoordeeld?
– 
Hebben achtergrondkenmerken van de behandelaren (zoals geslacht, referentiekader, opleiding en werkervaring) invloed op de beoordeling en uitvoering?
– 
Is er een verschil tussen wat behandelaren als belangrijke factoren noemen en wat blijkt uit recent wetenschappelijk onderzoek?

Methode
Deelnemers

Behandelaren werkzaam in de ggz zijn benaderd via digitale nieuwsbrieven (KJP en VGCt), het netwerk van beroepsverenigingen (NIP, VGCt, NPG) 1, de opleidingsinstituten RINO Noord-Holland en RINO Groep (Utrecht) en via het uitdelen van flyers en papieren enquêtes op een symposium in Utrecht (‘Evidentie in de psychotherapie’, 16 september 2011) en het najaarscongres van de VGCt (17-18 november 2011). Behandelaren werd verzocht een enquête in te vullen over werkzame factoren in hun behandeling. Zij konden de enquête op papier of online invullen.

Inhoudelijk deel enquête

De behandelaren zijn in dit deel van de enquête gevraagd werkzame factoren te noemen die zij belangrijk vinden en die naar hun mening een (positief) effect hebben op de uitkomst van hun eigen behandelingen. Vervolgens kregen de behandelaren een lijst voorgelegd van factoren die van invloed kunnen zijn op de behandeluitkomst. Deze factoren zijn gebaseerd op een literatuurstudie. De behandelaren werd gevraagd aan te geven in welke mate zij deze factoren van invloed vinden op het effect van hun behandelingen.

Literatuurstudie

Op grond van publicaties over factoren die mogelijk van invloed zijn op het behandelresultaat (Norcross, 2002; Sexton e.a., 2004; Weisz e.a., 2006; Pijnenburg, 2010; Duncan e.a., 2010) is een lijst samengesteld. Vervolgens is (met behulp van de zoekmachines PubMed, PsycNET, ScienceDirect en Google Scholar) gezocht in internationale publicaties naar meta-analyses 2 van de afgelopen tien jaar (2000-2011) over deze factoren binnen de jeugd- en volwassenen-ggz. Als er geen meta-analyse over een factor werd gevonden, werd gezocht naar enkelvoudige onderzoeken. Daarnaast werden referenties geraadpleegd voor aanvullende onderzoeken.

Er is gekozen voor het selecteren van factoren met duidelijk overtuigend wetenschappelijk bewijs en factoren die veelvuldig als invloedrijk genoemd worden, maar waarvan dit onvoldoende is aangetoond of waarbij zelfs herhaaldelijk geen relatie is gevonden met de behandeluitkomst. Hiervoor is gekozen om te kunnen analyseren welke de keuze de behandelaren geneigd zijn te maken: eerder de ‘intuïtieve, maar (nog) niet wetenschappelijk aangetoonde’ werkzame factoren of juist de wetenschappelijk aangetoonde werkzame factoren.

Tabel 1 Literatuurgeselecteerde factoren.

Werkzame factoren na 2000 met minimaal één meta-analyse

Factoren zonder meta-analyse na 2000 a , met negatief bewijs b of met tegenstrijdige uitkomsten c

Werkrelatie

Meting van werkrelatie tijdens behandelinga

Overeenstemming

Competentiea

Empathie

Meten van competentiea

Feedback

Disclosureb

Steun collega’s

Persoonlijkheidskenmerken cliënta

Supervisie

Effect leeftijd therapeut op competentiea

Training

Achtergrondkenmerken cliënta

Caseload

Fasespecifiek werkena

Allegiance (overtuiging in de methodiek)

Transparantiea

Cliëntvoorkeur behandelmethodiek

Adherenceb

Methodiek met emotiebewerking als focus (emotiefocus)

Overwegend werken met evidence-based methodieken in de organisatiea

Monitoring (effectmeting behandeling)

Benchmarkinga

Werken met evidence-based methodieken

Competentie groter door life event van therapeuta

Effect van sterke leidinggevende in organisatie

Methodiek met probleem als focus (problemfocus)a

Directief

Problematiek cliënta

 

Beeldvorming in de maatschappij over de organisatiea

 

Kennisspecifieke cultuur cliëntc

Dit onderzoek resulteerde in een reeks van 32 factoren die in het tweede deel van de enquête zijn opgenomen (zie tabel 1).

In het onderzoek werden de factoren door de deelnemers middels een schaal (1 = zeer onbelangrijk; 7 = zeer belangrijk) beoordeeld naar de mate van invloed op de uitkomst van de eigen behandeling. De mate waarin deze factoren daadwerkelijk worden toegepast, werd eveneens beoordeeld op een schaal (1 = niet; 4 = altijd).

Procedure

De enquête is in november 2011 online geplaatst en er zijn honderd papieren enquêtes uitgedeeld. Het invullen van de enquête kon anoniem en nam gemiddeld ongeveer veertig minuten in beslag.

De enquête is ruim een half jaar online geweest. De data uit de online-enquête zijn getransformeerd naar een SPSS-bestand en aangevuld met de data uit de ingevulde papieren enquêtes. Online-enquêtes die onvolledig waren opgeslagen of ingevuld, of waarvan geen data herleidbaar waren, werden weggelaten.

Analyses

Voor het analyseren van de gegevens zijn de antwoorden in het algemene deel ge(her)codeerd. Zo zijn de referentiekaders van de behandelaren teruggebracht tot vijf kaders: geen referentiekader, gedragstherapeutisch, systeemtherapeutisch, (psycho)dynamisch en overig. Onder deze laatste categorie vallen ook behandelaren die meerdere referentiekaders hebben aangegeven. Herkomst, leeftijd en werkervaring zijn opgedeeld in categorieën die voor een zo gelijkmatig mogelijke verdeling zorgen van de deelnemers, om de resultaten te kunnen vergelijken.

Het analyseren van de resultaten, voor het beantwoorden van de vraag welke werkzame factoren volgens de behandelaren een belangrijke invloed hebben op de effectiviteit van de behandeling, is als volgt gedaan. De antwoorden op de (open) vraag om in eigen woorden werkzame factoren te beschrijven, zijn herverdeeld in antwoordcategorieën die weer zijn gehercodeerd tot zeven clusters: behandelrelatie, therapeut, techniek, organisatie, non-specifiek, cliënt en monitoring. Vervolgens werden de hercoderingen getoetst op interbeoordelaarsbetrouwbaarheid. Het verschil in de mate waarin de geclusterde factoren werden genoemd, is vervolgens geanalyseerd met een chi-kwadraattoets.

Van de antwoorden van de behandelaren op de meerkeuzevragen over de invloed van de uit de literatuur geselecteerde factoren, is de gemiddelde beoordeling berekend. Verschillen tussen de factoren zijn getoetst met de chi-kwadraattoets.

Voor de beantwoording van de vraagstelling of behandelaren ook de als belangrijk beoordeelde werkzame factoren daadwerkelijk toepassen in hun praktijk, zijn de gemiddelde scores van de mate waarin deze factoren werden toegepast in een tabel gezet (zie tabel 3). Met behulp van een rang-correlatietoets (Spearmans rho) is geanalyseerd of er een correlatie is tussen het hoog beoordelen van de invloed van een werkzame factor en het vaak uitvoeren van of vaak handelen naar een werkzame factor.

De invloed van de achtergrondkenmerken van de behandelaren op het verschil in de genoemde werkzame factoren en op de beoordeling en toepassing van de literatuurgeselecteerde, is getoetst met behulp van de chi-kwadraattoets.

Voor de beantwoording van de (laatste) vraag of er sprake is van een verschil tussen wat behandelaren als belangrijke factoren noemen en wat er uit recent wetenschappelijk onderzoek blijkt, zijn de uitkomsten van de literatuurstudie kwalitatief vergeleken met de beoordelingen van de behandelaren op de literatuurgebaseerde factoren.


Resultaten

Er zijn in totaal 319 enquêtes ingevuld, waarvan 63 papieren enquêtes en 256 online. De deelnemers waren overwegend vrouw. Het aantal deelnemers jonger dan 30 jaar lijkt relatief klein. De totale resultaten zijn weergegeven in tabel 2.

Tabel 2 Achtergrondgegevens deelnemers in aantal en percentage.

Enquêtes

N

%

Geslacht

N

%

online

256

80,3

vrouw

217

68,0

papier

63

19,7

man

99

31,0

totaal

319

100

totaal

316

99,1

Leeftijd

N

%

Referentiekader

N

%

18-30 jaar

30

9,4

geen

63

19,7

31-40 jaar

73

22,9

cogn

132

41,4

41-50 jaar

73

22,9

systeem

34

10,7

51-60 jaar

102

32,0

nondir

44

13,8

> 60 jaar

41

12,9

overig

41

12,9

totaal

319

100

totaal

314

98,4

Provincie

N

%

Functie

N

%

Noord-Holland

82

25,7

kp-specialist

72

22,6

Utrecht/Flevoland

32

10,0

gz-psycholoog

79

24,8

Zuid-Holland

47

14,7

psychotherapeut

45

14,1

Groningen, Friesland, Drenthe, Overijssel

46

15,3

psychiater

13

4,1

Gelderland

49

15,4

basisberoep*

45

14,2

Brabant en Limburg

45

15,0

overig

62

19,6

totaal

301

94,4

totaal

316

99,1

Instelling

N

%

Instelling (vervolg)

N

%

academisch

34

10,7

jeugdzorg

23

7,2

ggz

151

47,6

overig

56

17,7

zelfstandig

53

16,6

totaal

317

99,4

* Basis = behandelaar of basispsycholoog.

Cognitief gedragstherapeuten zijn in dit onderzoek de grootste groep behandelaren. De non-directieve groep (psychodynamisch, cliëntgericht, infant mental health-specialisten) is daarna het grootste. De groep systeemtherapeutische behandelaren is in dit onderzoek het kleinst. In functie zijn de klinisch psychologen een grote groep; vergeleken met de gegevens van het CBS is er sprake van een oververtegenwoordiging (34% versus 9%), als dit wordt afgezet tegen het aantal gz-psychologen, psychotherapeuten en psychiaters die aan het onderzoek hebben meegedaan.

Om de eerste onderzoeksvraag - welke visie de behandelaren hebben op werkzame factoren binnen hun eigen behandelingen - te kunnen beantwoorden, is op twee manieren gemeten. Eerst werd de behandelaren gevraagd zelf de kennis over werkzame factoren actief te (re)produceren, door de naar hun mening werkzame factoren in eigen woorden te beschrijven. Deze beschrijvingen zijn teruggebracht tot 47 antwoordcategorieën, die weer zijn gehercodeerd tot zeven clusters: behandelrelatie, therapeut, techniek, organisatie, non-specifiek, cliënt en monitoring. De hercodering is gedaan door vier behandelaren werkzaam in zowel de wetenschap als in de ggz-praktijk.

Vervolgens werden de hercoderingen getoetst wat betreft interbeoordelaarsbetrouwbaarheid. De clusterindeling in zeven clusters bleek hierbij een redelijke interbeoordelaarsbetrouwbaarheid te hebben, met kappawaarden van 0,43-0,51: KFleiss (22,05) = 0,47, 0,428 < p 0,95% > 0,513.

Tabel 3 Clusters van genoemde factoren, mate waarin beschreven in aantal en percentage.

Factor cluster

Totaal

Behandelrelatie

Therapeut

Techniek

Non-specifiek

Organisatie

Cliënt

Monitor

N

316

255

188

175

43

40

26

9

%

100

80,7a

59,5a

55,4bc

13,6c

12,7b

8,2

2,8

a χ2 (1): 23,379, p <0,001; b χ2 (1): 13,427, p <0,001; c χ2 (1): 15,677, p <0,001.

In tabel 3 zijn de clusters van factoren weergegeven in volgorde van de mate waarin de werkzame factoren per cluster werden genoemd. Daaruit blijkt duidelijk dat de werkzame factoren behorend bij de cluster behandelrelatie door de meeste behandelaren als belangrijke werkzame factoren werden genoemd. Daarna volgen de therapeutfactoren, met de techniekfactoren als derde meestgenoemde werkzame factor. De non-specifieke factoren en organisatiefactoren die daarna zijn genoemd, liggen in aantal eveneens dicht bij elkaar. Na de keuze voor cliëntfactoren sluit de cluster monitoring de rij.

Significantie van de verschillen tussen de clusters is vanwege de ongelijke verdeling en de te kleine groepsgrootte niet voor alle verschillen tussen de clusters te bepalen. Toetsbaar significant vaker was de keuze voor de cluster behandelrelatie boven de keuze voor de cluster therapeutfactoren: χ 2 (1): 23,379, p < 0,001. De cluster techniekfactoren werd significant vaker genoemd dan de organisatiecluster: χ 2 (1): 13,427, p < 0,001. Dit geldt eveneens voor de non-specifieke cluster: χ 2 (1): 15,677, p < 0,001.

Na het bepalen van de visie op werkzame factoren vanuit eigen keuze, werd de reeks van literatuurgeselecteerde factoren (zie tabel 1) aan de behandelaren voorgelegd; zij moesten deze beoordelen op mate van invloed op de effectiviteit van hun eigen behandelingen. De resultaten van deze beoordelingen zijn opgenomen in tabel 4.

Op deze wijze gemeten, beoordeelden de behandelaren de factor werkrelatie opnieuw als meest belangrijk, dus meest van invloed op de effectiviteit van hun eigen behandeling (zie tabel 4, kolom 1). Na werkrelatie werden de factoren overeenstemming, empathie en transparantie als invloedrijk beoordeeld. Competentie en feedback delen de vijfde plaats. Ook steun van collega’s en supervisie, training en caseload kregen gemiddeld een hoge beoordeling. De factoren disclosure (zelfonthulling) en adherence (protocoltrouw) kregen gemiddeld de laagste beoordeling.

Samengevat is het antwoord op de vraag welke factoren volgens de behandelaren een belangrijke rol spelen in effectief behandelen, relatief eenvoudig. Zowel zelf beschreven als gekozen, blijken behandelaren de behandelrelatie als meest werkzame factor te beoordelen. De cluster therapeutfactoren en de literatuurgeselecteerde factoren die lijken samen te hangen met de therapeutfactor (overeenstemming, empathie, transparantie en competentie) komen op de tweede plaats.

Tabel 4 Literatuurgeselecteerde factoren, met gemiddelde beoordeling, onderling verschil en rangorde van mate van belang en mate van uitvoering.

Literatuurgeselecteerde factor

Beoordeling (1-7)

Uitvoering (1-4)

Rang beoordeling

Rang uitvoering

Werkrelatie

6,76

3,51

1,00

3,00

Overeenstemming

6,60

3,67

2,00

1,00

Empathie

6,56

1,33**

3,00

24,00***

Transparantie

6,42

3,35

4,00

6,00

Competentie

6,34

3,44

5,50

4,00

Feedback

6,34

2,09

5,50

18,00***

Steun collega’s*

6,30

-

   

Supervisie

6,30

2,36

7,00

16,00***

Training

6,27

3,53

8,00

2,00

Caseload*

6,26

-

   

Allegiance

5,98

3,14

9,00

8,00

Cliëntvoorkeur behandelmethodiek

5,86

2,79

10,00

9,00

Methodiek met probleem als focus (probleemfocus)

5,70

3,36

11,00

5,00

Methodiek met emotiebewerking als focus (emotiefocus)

5,69

3,18

12,00

7,00

Kennis specifieke cultuur cliënt

5,65

2,76

13,00

10,00

Problematiek cliënt*

5,60

-

   

Beeldvorming in de maatschappij over de organisatie

5,53

-

   

Overwegend werken met evidence-based methodieken in de organisatie

5,45

2,52

14,50

13,00

Monitoring (effectmeting behandeling)

5,45

2,47

14,50

14,00

Competentie groter door life-event van therapeut

5,42

-

   

Werken met evidence-based methodieken

5,42

2,70

16,00

11,00

Meting van werkrelatie tijdens behandeling

5,35

1,63

17,00

21,00

Persoonlijkheidskenmerken cliënt

5,34

-

   

Effect leeftijd therapeut op competentie

5,32

-

   

Effect van sterke leidinggevende in organisatie

4,98

2,31

18,00

17,00

Achtergrondkenmerken cliënt

4,67

-

   

Directief

4,65

2,45

19,00

15,00

Fasespecifiek werken*

4,63

2,61

20,00

12,00

Meten van competentie

4,63

1,60

21,00

22,00

Benchmarking

4,42

1,77

22,00

20,00

Adherence

3,92

1,40

23,00

23,00

Disclosure

3,87

2,02

24,00

19,00

* Geen meting uitvoering/toepassing beschikbaar; ** meting empathie gevraagd; *** uitschieters rangorderelatie.

De volgende vraag is of behandelaren ook handelen volgens hun visie. Werken zij met de werkzame factoren die zij als belangrijk hebben beoordeeld? Alle literatuurgeselecteerde factoren die beoordeeld werden op hun mate van invloed, werden door de behandelaren ook beoordeeld op de mate waarin er volgens hen naar de factoren werd gehandeld (zie tabel 4, kolom 3). De mate van uitvoering of toepassing werd aangegeven op een schaal (1 = nooit; 4 = altijd). Uit de resultaten blijkt de factor overeenstemming het meest te worden toegepast (zie tabel 4, kolom 3, rij 3). Daarna volgen de factoren training, werkrelatie, (investeren in) competentie, probleemgericht werken en transparant werken, eveneens met hoge gemiddelde scores op toepassing in de eigen behandelingen. Lage scores zijn met name bij de uitvoering van metingen terug te zien, zoals de meting van de werkrelatie, van adherence (protocoltrouw) en van empathie.

Om te kunnen beoordelen of behandelaren ook handelden volgens de (literatuurgeselecteerde) factoren die zij als belangrijk hadden beoordeeld, werd een rangorde toegekend aan de mate van beoordeling en de mate van uitvoering (tabel 4, kolom 4 en 5). Deze rangorden zijn met elkaar vergeleken. Er blijkt een significante relatie tussen de beoordeling op de literatuurgeselecteerde factoren en de uitvoering ervan (rs = 0,586, p eenzijdig = 0,01; zie figuur 1).

MediaObjects/12485_2015_3_Fig1_HTML.jpg
Figuur 1 Scatterplot relatie rangorde beoordeling invloed en uitvoering.
Tabel 5 Verschil in uitkomst eigen keuze werkzame factorclusters.

Factor

Totaal (n)

Behandelrelatie (%)

Therapeut (%)

Techniek (%)

Non-specifiek (%)

Organisatie (%)

Cliënt (%)

Monitor (%)

Geslacht

               

vrouw

217

84,3

59,9

55,8

12,0

15,7

7,8

3,2

man

99

71,7a

58,6

54,5

17,2

6,1b

9,1

2,0

Referentiekader

               

geen

63

87,3

55,6

54,0

17,5

23,8c

7,9

1,6

cognitief

132

80,3

53,8

65,9d

13,6

7,6

10,6

5,3e

systeem

34

67,6

58,8

44,1

8,8

5,9

2,9

2,9

non-directief

44

81,8

68,2

43,2

18,2

9,1

6,8

0,0

overig

41

80,5

75,6

48,8

7,3

22,0

7,3

0,0

a χ2 (1) = 5,877, p = 0,015; b χ2 (1): 5,676, p = 0,017; c χ2 (4) = 15,206, p < 0,001; d χ2 (1): 9,560, p = 0,002; e χ2 (1) = 4,857, p = 0,028.

De conclusie is dat behandelaren overwegend zeggen te handelen naar de factoren die zij ook als belangrijk hebben beoordeeld. Opvallende uitvallers zijn de meting van empathie, het meten van feedback en het volgen van supervisie. Deze factoren werden als relatief belangrijk beoordeeld, maar werden duidelijk in mindere mate toegepast in de dagelijkse praktijk.

Behandelaren blijken op grond van de resultaten redelijk eensgezind over de belangrijkste werkzame factoren in hun uitgevoerde behandelingen en doen over het algemeen ook wat ze belangrijk vinden. In het onderzoek is vervolgens specifiek gekeken of er sprake is van verschillen tussen behandelaren in hun visie en handelen (bijvoorbeeld op grond van geslacht, referentiekader of werkervaring).

Uit de resultaten blijkt er weinig verschil te zijn tussen de behandelaren bij het zelf benoemen van werkzame factoren. De aanwezige verschillen zijn opgenomen in tabel 5.

Mannelijke behandelaren kozen significant minder vaak voor het cluster behandelrelatie dan vrouwelijke behandelaren: χ 2 (1) = 5,877, p = 0,015. En de mannen schatten de organisatiefactoren tevens van minder invloed op hun behandelingen dan de vrouwelijke behandelaren: χ 2 (1): 5,676, p = 0,017.

Behandelaren met een cognitief-gedragstherapeutisch referentiekader noemden in vergelijking met de overige behandelaren vaker de cluster techniek: χ 2 (1): 9,560, p = 0,002. Behandelaren zonder referentiekader kozen vaker dan behandelaren uit de groep overige referentiekaders voor het cluster organisatie: χ 2 (4) = 15,206, p < 0,001. De cognitief gedragstherapeuten kozen er relatief het minst vaak voor. Het cluster monitoring werd nauwelijks gekozen, behalve door een handjevol cognitief gedragstherapeuten.

Bij de beoordeling van de literatuurgeselecteerde factoren valt op dat met name het referentiekader en werkervaring, maar ook het geslacht van invloed is op de beoordeling en op het in de praktijk handelen naar de werkzame factoren (zie tabel 6).

Tabel 6 Achtergrond behandelaren in relatie tot beoordeling en toepassing van literatuurgeslecteerde factoren.

Achtergrondkenmerken

Belang werkzame factor

Uitvoering werkzame factor

Literatuurgeselecteerde factoren

   

Werkrelatie

Non-directief vaker onbelangrijk

 
 

χ 2 (4): 11,288, p = 0,024

 

Supervisie

 

Werkervaring < 5 jaar hebben vaker supervisie; > 20 jaar werkervaring hebben dit vaker niet

   

χ 2 (4): 27,008, p < 0,001

   

Man doen minder vaak supervisie

   

χ 2 (1): 10,699, p = 0,001

Training

 

Werkervaring < 10 jaar minder vaak

   

χ 2 (2): 17,652, p < 0,001

Voorkeur behandeling

Werkervaring < 10 jaar minder vaak onbelangrijk

 
 

χ 2 (2): 10,920, p = 0,004

 

Allegiance (overtuiging in methodiek)

 

Werkervaring > 15 jaar minder vaak

   

χ 2 (2): 10,964, p = 0,004

Monitoring

Non-directief vaker onbelangrijk dan cognitief therapeuten

Cognitief doen vaker dan overige behandelaren.

 

χ 2 (4): 17,322, p = 0,006

χ 2 (4): 24,390, p < 0,001

Evidence-based werken

Non-directief vaker onbelangrijk

Non-directief doen vaker niet

 

Cognitief minder vaak onbelangrijk

Cognitief doen vaker wel

 

χ 2 (4): 20,802, p < 0,001

χ 2 (4): 31,159, p < 0,001

Evidence-based werken in organisatie

Non-directief vaker onbelangrijk

Non-directief doen vaker niet

 

Cognitief minder vaak onbelangrijk

Cognitief doen vaker wel

 

χ 2 (4): 29,015, p = <0,001

χ 2 (4): 31,575, p < 0,001

 

Cognitief vaker belangrijk dan non-directief

Cognitief doen vaker dan overige behandelaren.

Directief werken

χ 2 (4): 13,822, p = 0,008

χ 2 (4): 20,145, p < 0,001

Fasespecifiek werken

 

Cognitief doen vaker wel dan overige behandelaren.

   

χ 2 (4): 20,066, p < 0,001

   

psychotherapeuten en gezondheidszorgpsychologen doen minder vaak dan overige

   

beroepsgroepen χ 2 (6): 16,373, p = 0,012

Adherence (methodiektrouw)

 

behandelaren zonder referentiekader meten vaker niet

   

Cognitief meten minder vaak niet

   

χ 2 (4): 16,195, p = 0,003

Sterke leidinggevende

Werkervaring > 20 jaar vaker onbelangrijk

 
 

χ 2 (4): 14,639, p = 0,006

 

Beeldvorming organisatie

Werkervaring < 5 jaar vaker onbelangrijk

 
 

χ 2 (4): 14,384, p = 0,006

 

Behandelaren met een non-directief referentiekader beoordeelden de factor werkrelatie vaker als onbelangrijk, in vergelijking met de overige referentiekaders: χ 2 (4): 11,288, p = 0,024. Dit geldt ook voor de factoren monitoring, evidence-based werken en evidence-based werken in de organisatie, terwijl de cognitief gedragstherapeutische behandelaren deze factoren juist minder vaak als onbelangrijk beoordeelden: respectievelijk χ 2 (4): 17,322, p = 0,006, χ 2 (4): 20,802, p < 0,001, χ 2 (4): 29,015, p = < 0,001. De cognitief gedragstherapeutische behandelaren bleken ook vaker te handelen naar deze factoren dan de non-directieve behandelaren: χ 2 (4): 24,390, p < 0,001, χ 2 (4): 31,159, p < 0,001, χ 2 (4): 31,575, p < 0,001. Verder valt op dat cognitief-gedragstherapeutische behandelaren directief werken belangrijker beoordeelden dan de non-directieve behandelaren en dit ook vaker inzetten: respectievelijk χ 2 (4): 13,822, p = 0,008 en χ 2 (4): 20,145, p < 0,001. Zij werken ook vaker volgens een fasespecifieke methode dan overige behandelaren: χ 2 (4): 20,066, p < 0,001.

Werkervaring maakt vooral het verschil bij het inzetten van supervisie en training. Een logische uitkomst lijkt dat behandelaren met minder dan vijf jaar werkervaring meer behandelingen onder supervisie zien dan behandelaren met meer dan twintig jaar werkervaring: χ 2 (4): 27,008, p < 0,001. Opvallend is echter dat behandelaren met minder dan tien jaar werkervaring minder vaak aan training doen dan de groep met meer dan tien jaar werkervaring: χ 2 (2): 17,652, p < 0,001. Verder blijken mannelijke behandelaren minder behandelingen onder supervisie uit te voeren dan vrouwelijke behandelaren: χ 2 (1): 10,699, p = 0,001.

De vierde en laatste vraag van het onderzoek betreft de mogelijke kloof tussen de visie van de behandelaren (de praktijk) en de stand van zaken binnen het wetenschappelijk onderzoek. De vraag is of behandelaren de werkzame factoren noemen die volgens recent wetenschappelijk onderzoek ook daadwerkelijk werkzaam zijn. Uit de resultaten blijkt dat de meerderheid van de werkzame factoren waarvoor recentelijk wetenschappelijk bewijs werd gevonden (publicatie na 2000 en minstens één meta-analyse), ook als belangrijk werden beoordeeld door de behandelaren (zie tabel 7).

Dit geldt voor de factoren werkrelatie, empathie en (cliënt)feedback. De factor waarvoor negatief wetenschappelijk bewijs werd gevonden (disclosure), werd als minst belangrijk beoordeeld.

Er is een aantal discrepanties. Competentie van de therapeut werd belangrijk gevonden door de behandelaren, maar de enige meta-analyse die is gevonden in de uitgevoerde literatuurstudie, kon geen relatie leggen tussen competentie en therapieresultaat. Andersom bleek er overtuigend bewijs voor het effect van de factoren evidence-based werken, monitoring en directief werken, terwijl deze factoren niet als meest belangrijk werden beoordeeld.


Discussie

Met dit onderzoek is een poging gedaan de visie van behandelaren over werkzame factoren in hun eigen behandelingen in kaart te brengen. De slotvraag van het onderzoek was of de visie van de behandelaren overeenkomt met de resultaten uit recent wetenschappelijk onderzoek. Er blijkt zowel een duidelijke overeenkomst als een aantal opmerkelijke verschillen tussen de visie van de behandelaren en de huidige stand van het wetenschappelijk onderzoek. Zo staat voor de behandelaren de behandelrelatie op een stevige eerste plaats als werkzame factor. De behandelrelatie wordt door 80 procent van de behandelaren gekozen als belangrijkste werkzame factor. Uit wetenschappelijk onderzoek blijkt eveneens dat de behandelrelatie een belangrijke invloed heeft (Norcross & Wampold, 2011).

Tabel 7 Literatuurgeselecteerde factoren, gevonden meta analyse en beoordeling.

Literatuurgeselecteerde factoren

Beoordeling belang (1-7)

Meta-analyse**

Commentaar

Werkrelatie

6,76

5

2 van zelfde auteurs

Overeenstemming

6,60

1

 

Empathie

6,56

4

2 van zelfde auteurs, 10 jaar tussentijd

Transparantie

6,42

-

niet gevonden

Competentie

6,34

-1

enkele onderzoeken depressie en angst positief

Feedback

6,34

3

 

Steun collega’s*

6,30

1

als onderdeel van organisatievariabelen

Supervisie

6,30

1-1

Freitas (2011) kritisch, maar trend positief

Training

6,27

-

wel onderzoeken, geen meta-analyse

Caseload*

6,26

1

 

Allegiance

5,98

2

beide zelfde auteur

Voorkeur in behandeling

5,86

2

 

Probleemfocus

5,70

-

niet gevonden, nu onderdeel van meeste methodieken

Emotiefocus

5,69

1

alleen in psychodynamische therapie

Kenniscultuur

5,65

1/-3 = -2

geen relatie met treatment outcome

Problematiek cliënt*

5,60

-

niet gevonden

Beeldvorming organisatie*

5,53

-

niet gevonden

Evidence-based werken in organisatie

5,45

-

niet gevonden

Monitoring

5,45

2

Nederlands artikel en ter voorkoming uitval

Effect life-event op competentie*

5,42

-

niet gevonden

EB werken

5,42

4

specifiek vergelijking EB met TAU

Werkrelatiemeting

5,35

-

niet gevonden

Persoonlijkekenmerken cliënt*

5,34

-

niet gevonden

Effect leeftijd op competentie*

5,32

-

niet gevonden

Sterke leidinggevende

4,98

1

als onderdeel van organisatievariabelen

Achtergrond cliënt*

4,67

-

overlap met cultuur

Directief

4,65

1

in Karver e.a. (2006)

Fasespecifiek werken*

4,63

-

niet gevonden

Meting competentie

4,63

-

niet gevonden

Benchmarking

4,42

-

niet gevonden

Adherence

3,92

-1

geen rol

Disclosure

3,87

-1

in Karver e.a. (2006)

* Geen meting uitvoering/toepassing beschikbaar; ** literatuurverwijzing van meta-analyses zijn opgenomen in literatuurlijst.

De behandelaren zeggen ook te handelen naar de werkzame factoren die zij als belangrijk hebben beoordeeld; en zij zijn opvallend eensgezind in hun beoordeling. Gezien deze eensgezindheid is het de vraag of alle behandelaren wel hetzelfde verstaan hebben onder de term behandelrelatie en of zij dus hetzelfde als belangrijk beoordeelden. De factor behandelrelatie is een clustering van veel verschillende termen (werkrelatie, therapeutische relatie, alliantie, samenwerking, ‘klik’, enzovoort). Welke specifieke aspecten binnen een behandelrelatie belangrijk gevonden werden, blijft door de opzet van dit onderzoek onbekend.

Verder onderzoek naar de visie van behandelaren over aspecten van de behandelrelatie is noodzakelijk, aangezien binnen het wetenschappelijk onderzoek steeds duidelijker wordt dat aspecten binnen de behandelrelatie, zoals feedback van de cliënt, overeenkomst in de doelen, empathie, samenwerking in de therapie, maar ook echtheid en herstel van relatiebreuken, ieder apart invloed (kunnen) hebben op de behandeluitkomst (Norcross & Wampold, 2011).

Een opvallende, laag beoordeelde werkzame factor is het effect van monitoring op de uitkomst van behandelingen. Behandelaren moeten niets van meten weten, zelfs niet als aangetoond is dat het de behandeluitkomsten kan verbeteren (De Jong, 2012; Lambert, 2010). Zelfs de cognitief gedragstherapeutische behandelaren, van wie verwacht mag worden dat zij monitoren ofwel het meten van de uitkomsten van hun behandeling als gangbaar achten, hechten volgens dit onderzoek weinig belang aan de factor monitoring. Het belang van monitoring, bijvoorbeeld het profijt dat behandelaren kunnen hebben aan een vorm van feedback op hun handelen, ook als het om complexe psychische problematiek gaat (Kazdin, 2008), lijkt onvoldoende onderkend te worden.

Zelfs het meten van de (kwaliteit van de) behandelrelatie, de werkzame factor die als meest belangrijk wordt genoemd, staat als zeventiende in de ranglijst van mate van belangrijk en wordt nog minder uitgevoerd. Dit terwijl de voorspellende waarde ervan op de uitkomst van de behandeling overtuigend is aangetoond in wetenschappelijk onderzoek (Schmidt e.a., 2014).

Er is een aantal kritische kanttekeningen bij dit onderzoek te plaatsen. De enquête was lang, vele items bleken overlappend en niet van toegevoegde waarde. Gezien de hoge beoordelingen op veel van de items in de enquête, lijken de items onvoldoende te differentiëren. Mogelijk is een aantal items niet specifiek genoeg geformuleerd, waardoor behandelaren er niet dezelfde betekenis aan gaven. De enquête vraagt om de mening van de behandelaar, waarmee sociaalwenselijk antwoorden niet uitgesloten is. Met name de beoordeling of behandelaren ook toepassen wat zij belangrijk vinden, is niet objectief.

De groep behandelaren is waarschijnlijk ook beperkt representatief door de wijze waarop deelnemers zijn benaderd. De klinisch psychologen waren oververtegenwoordigd, alsmede de oudere behandelaars. De representativiteit van de geografische spreiding van behandelaren werkzaam in de ggz bleek helaas niet bij het CBS te achterhalen.


Tot besluit

Een goede therapeutische relatie, in optimaal samenspel met zowel de behandelmethodiek als cliëntfactoren en kwaliteiten van de behandelaren, leidt tot de best mogelijke uitkomsten (Norcross & Wampold, 2011). Gezien de uitkomsten van dit onderzoek is de verwachting dat de meeste behandelaren dit zullen onderschrijven. Door dit onderzoek wordt bovendien duidelijk dat de kloof tussen de visie van de behandelaren en de huidige stand van het wetenschappelijk onderzoek minder groot lijkt dan vaak wordt verondersteld.

Behandelaren en wetenschappelijke onderzoekers blijken het eens over een belangrijk aantal werkzame factoren. Ook is duidelijk welk verschil nog wel bestaat: het belang van de invloed van het monitoren van de uitkomsten van de behandeling als werkzame factor. Alsof de smid niet durft te meten of het geheim klopt - waarmee het geheim van de smid een geheim blijft, ook voor de smid.


Literatuur

Ahn, H. & Wampold, B.E. (2001). Where oh where are the specific ingredients? A meta analysis of component studies in counseling and psychotherapy. Journal of Counseling Psychology, 48, 251–257.
CrossRef
 
Barak, M.E.M., Travis, D.J., Pyun, H. & Xie, B. (2009). The impact of supervision on worker outcomes. Social Service Review, 83, 3–32.
CrossRef
 
Bohart, A.C., Elliot, R., Greenberg, L.S. & Watson, J.C. (2002). Empathy. In J.C. Norcross (Ed.), Psychotherapy relatonships that work: therapist contributions and responsiveness to patients (pp. 89–108). New York: Oxford University Press.
 
Butler, A.C., Chapman, J.E., Forman, E.M. & Beck, A.T. (2004). The empirical status of cognitive-behavioral therapy: A review of meta-analyses. Journal of the American Academy of Child and Adolescent Psychiatry, 43, 930–959.
CrossRef
 
Cella, M., Stahl, D., Reme, S.E. & Chalder, T. (2011). Therapist effects in routine psychotherapy practice: an account from chronic fatigue syndrome. Psychotherapy Research, 21, 168–78.
PubMed CrossRef
 
Colijn, S., Snijders, H. & Trijsburg, W. (2009). Universele Therapiefactoren. In S. Colijn, H. Snijders, M. Thunnissen, S. Bögels &, W. Trijsburg (red.), Leerboek psychotherapie (pp. 160–168). Utrecht: de Tijdstroom.
 
Crits-Christoph, P., Baranackie, K., Kurcias, J., Beck, A., Carroll, K., Perry, K., Luborsky, L., McLellan, A., Woody, G., Thompson, L., Gallagher, D. & Zitrine, C. (1991). Meta analysis of therapist effects in psychotherapy outcome studies. Psychotherapy Research, 1, 81–91.
CrossRef
 
Diener, M.J., Hilsenroth, M.J. & Wienberger, J. (2007). Therapist affect focus and patient outcomes in psychodynamic psychotherapy: a meta-analysis. American Journal of Psychiatry, 164, 936–941.
PubMed CrossRef
 
Duncan, B.L., Miller, S.D., Wampold, B.E. & Hubble, M.A. (2010). The heart and soul of change (2nd ed.). Washington DC: APA.
 
Elliot, R., Bohart, A.C., Watson, J.C. & Greenberg, L.S. (2011). Empathy. Psychotherapy, 48, 43–49.
CrossRef
 
Farber, B.A. & Doolin, E.M. (2011). Positive regard. Psychotherapy, 48, 58–64.
PubMed CrossRef
 
Field, A (2009). Discovering statistics using SPSS (3d ed). Londen: Sage.
 
Flückiger, C., Del Re, A.C., Wampold, B.E., Symonds, D. & Horvath, A.O. (2012). How central is the alliance in psychotherapy? A multilevel longitudinal meta-analysis. Journal of Conseling Psychology, 59, 10–17.
CrossRef
 
Freitas, G.J. (2002). The impact of psychotherapy supervison on client outcome: a critical examination of 2 decades of research. Psychotherapy, 39, 354–367.
CrossRef
 
Ghose, T. (2008). Organizational- and individual-level correlates of posttreatment substance use: a multilevel analysis. Journal of Substance Abuse Treatment, 34, 249–262.
PubMed CrossRef
 
Glass, C.R., Arnkoff, D.B. & Shapiro, S.J. (2001). Expectations and preferences. Psychotherapy: theory, research, practice, training, 38, 455–461.
CrossRef
 
Greenberg, L.S., Watson, J.C., Elliot, R. & Bohart, A.C. (2001). Empathy. Psychotherapy, 38, 380–384.
CrossRef
 
Griner, D. & Smith, T.B. (2006). Culturally adapted mental health intervention: a meta-analytic review. Psychotherapy: Theory, Research, Practice, Training, 43, 531–548.
CrossRef
 
Hofmann, S.G., Sawyer, A.T., Witt, A.A. & Oh, D. (2010). The effect of mindfulness-based therapy on anxiety and depression: a meta-analytic review. Journal of Consulting and Clinical Psychology, 78, 169–183.
<Occurrence Type="PMCID"><Handle>2848393</Handle></Occurrence> PubMed CrossRef
 
Huey, S.J. Jr. & Polo, A.J. (2008). Evidence-based psychosocial treatments for ethnic minority youth. Journal of Clinical Child and Adolescent Psychology, 37, 262–301.
<Occurrence Type="PMCID"><Handle>2413000</Handle></Occurrence> PubMed CrossRef
 
Jong, K. de (2012). De rol van de behandelaar: de ‘vergeten’ factor in ROM. Tijdschrift voor Psychiatrie, 54, 197–200.
PubMed
 
Karver, M.S., Handelsman, J.B., Fields, S. & Bickman, L. (2006). Meta-analysis of therapeutic relationship variables in youth and family therapy: The evidence for different relationship variables in the child and adolescent treatment outcome literature. Clinical Psychology Review, 26, 50–65.
PubMed CrossRef
 
Knaup, C., Koesters, M., Schoefer, D., Becker, T. & Puschner, B. (2009). Effect of feedback of treatment outcome in specialist mental healthcare: meta-analysis. British Journal of Psychiatry, 195, 15–22.
PubMed CrossRef
 
Lambert, M.J. (2010). Yes, it is time for clinicians to routinely monitor treatment outcome. In B.L. Duncan, S.D. Miller, B.E. Wampold &, M.A. Hubble (Eds.), The heart and soul of change (pp. 239-267) (2nd ed). Washington DC: APA.
 
Lambert, M.J. & Hawkins, E.J. (2004). Measuring Outcome in professional practice: considerations in selecting and using brief outcome instruments. Research and Practice, 35, 492–499.
 
Lambert, M.J. & Shimokawa, K. (2011). Collecting client feedback. Psychotherapy, 48, 72–79.
PubMed CrossRef
 
Leichsenring F., Rabung, S. & Leibing, E. (2004). The efficacy of short-term psychodynamic psychotherapy in specific psychiatric disorders. A meta-analysis. Archive of General Psychiatry, 61, 1208–1216.
CrossRef
 
Linden, D. van der & Graag, I. de (2010). State of the art. Bekendheid met en gebruik van evidence based interventies in de jeugd-ggz. Utrecht: Trimbos-instituut.
 
Maramba, G.G., Nagayama, H. & Gordon, C. (2002). Meta-analyses of ethnic match as a predictor of dropout, utilization, and level of functioning. Cultural Diversity and Ethnic Minority Psychology, 8, 290–297.
PubMed CrossRef
 
Martin, D.J., Garske, J.P. & Davis, M.K. (2000). Relation of the therapeutic alliance with outcome and other variables: a meta-analytic review. Journal of Consulting and Clinical Psychology, 68, 438–450.
ChemPort PubMed CrossRef
 
McLeod, B.D. (2011). Research highlights relation of the alliance with outcomes in youth psychotherapy: a meta-analysis review article. Clinical Psychology Review, 31, 603–616.
PubMed CrossRef
 
Messer, S.B. & Wampold, B.E. (2006). Let’s face facts: common factors are more potent than specific therapy ingredients. Clinical Psychology: Science and Practice, 9, 21–25.
 
Munder, T., Flückiger, C., Gerger, H., Wampold, B.E. & Barth, J. (2012). Is the allegiance effect an epiphenomenon of true efficacy differences between treatments? A meta-analysis. Journal of Counseling Psychology, 59, 631–637.
PubMed CrossRef
 
Norcross, J. (2002). Psychotherapy relationships that work: therapist contributions and responsiveness to patient needs. New York: Oxford University Press.
 
Norcross, J. & Wampold, B.E. (2011). Evidence-based therapy relationships: research conclusions and clinical practices. Psychotherapy, 48, 98–102.
PubMed CrossRef
 
Pijnenburg, H. (2010). Werkzame factoren in de zorg voor jeugd. In H. Pijnenburg, J. Hermanns, T. van Yperen &, G. Hutschemaekers (red.), Zorgen dat het werkt (pp. 11–54). Amsterdam: SWP.
 
Schmidt, F., Chomyez, S., Houlding, C., Kruse, A. & Franks, J. (2014). The association between therapeutic alliance and treatment outcomes in a group Triple P intervention. Journal of Child and Family Studies, 23, 1337–1350.
SpringerLink
 
Sexton, T.L., Ridley, C.R. & Kleiner, A.J. (2004). Beyond common factors. Multilevel process models of therapeutic change. Journal of Marriage and Family Therapy, 30, 131–149.
CrossRef
 
Shimokawa, K., Lambert, M.J. & Smart, D.W. (2010). Enhancing treatment outcome of patients at risk of treatment failure: Meta-analytic and mega-analytic review of a psychotherapy quality assurance system. Journal of Consulting and Clinical Psychology, 78, 298–311.
PubMed CrossRef
 
Shin, S., Chow, C., Camacho-Gonsalves, T., Levy, R.J., Allen, I.E. & Leff, H.S. (2005). A meta-analytic review of racial-ethnic matching for african american and caucasian american clients and clinicians. Journal of Counseling Psychology, 52, 45–56.
CrossRef
 
Shirk, S.R. & Karver, M. (2003). Prediction of treatment outcome from relationship variables in child and adolescent therapy: a meta-analytic. Journal of Consulting and Clinical Psychology, 71, 452–464.
PubMed CrossRef
 
Shirk, S.R., Karver, M.S. & Brown, R. (2011). The alliance in child and adolescent psychotherapy. Psychotherapy, 48, 17–24.
PubMed CrossRef
 
Sprenkle, D.H. & Blow, A.J. (2004). Common factors and our sacred models. Journal of Marital and Family Therapy, 30, 113–129.
PubMed CrossRef
 
Stewart, R.E. & Chambless, D.L. (2009). Cognitive behavioral therapy for adult anxiety disorders in clinical practice: a meta analysis of effectiveness studies. Journal of Consulting and Clinical Psychology, 77, 595–606.
PubMed CrossRef
 
Swift, J.K. & Callahan, J.L. (2009). The impact of client treatment preferences on outcome: a meta-analysis. Journal of Clinical Psychology, 65, 368–381.
PubMed CrossRef
 
Tryon, G.S. & Winograd, G. (2011). Goal consensus and collaboration. Psychotherapy, 48, 50–57.
PubMed CrossRef
 
Wampold, B.E. (2001). The great psychotherapy debate. Models, methods and findings. Londen: Lawrence Erlbaum Associates, Publishers.
 
Wampold, B.E. & Brown, J. (2005). Estimating variability in outcomes attributable to therapists: a naturalistic study of outcomes in managed care. Journal of Consulting and Clinical Psychology, 73, 914–23.
PubMed CrossRef
 
Webb, C.A., DeRubeis, R.J. & Barber, J.P. (2010). Therapist adherence/competence and treatment outcome: a meta-analytic review. Journal of Consulting and Clinical Psychology, 78, 200–211.
<Occurrence Type="PMCID"><Handle>4246504</Handle></Occurrence> PubMed CrossRef
 
Weisz, J.R., Jensen Doss, A. & Hawley, K.M. (2006). Evidence-based youth psychotherapies versus usual clinical care: a meta-analysis of direct comparisons. American Psychologist, 61, 671–689.
PubMed CrossRef
 
Weisz, J.R., McCarty, C.A. & Valeri, S.M. (2006). Effects of psychotherapy for depression in children and adolescents: A meta-analysis. Psychological Bulletin, 132, 132–149.
<Occurrence Type="PMCID"><Handle>2150594</Handle></Occurrence> PubMed CrossRef
 
Yoo, J. & Brooks, D. (2005). The role of organizational variables in predicting service effectiveness: an analysis of a multilevel model. Research on Social Work Practice, 15, 267–277.
CrossRef
 

1 Nederlands Instituut voor Psychologie, Vereniging voor Gedragstherapie en Cognitieve therapie, Nederlands Psychoanalytisch Genootschap
2 Meta-analyses zijn opgenomen in de literatuurlijst.
Naar boven