De effecten van psychotherapie bij depressie voor volwassenen zijn overschat

Tijdschrift voor Psychotherapie
© Bohn Stafleu van Loghum 2010
10.1007/BF03096150

Forum

De effecten van psychotherapie bij depressie voor volwassenen zijn overschat

Pim Cuijpers

: 3  2012


pim cuijpers is hoogleraar klinische psychologie aan de Vrije Universiteit Amsterdam.

Inleiding

In de afgelopen jaren is veel onderzoek gedaan naar de effecten van psychologische behandelingen van depressie bij volwassenen. In onze eigen database zijn inmiddels 243 klinische trials naar deze behandelingen opgenomen (http://www.evidencebasedpsychotherapies.org). Niet eens meegeteld zijn de onderzoeken die zich richten op adolescenten, opgenomen patiënten en onderhoudsbehandelingen. Dat grote aantal onderzoeken heeft veel kennis opgeleverd over de werkzaamheid van behandeling van depressies.

Er zijn niettemin redenen om aan te nemen dat de werkzaamheid van psychotherapie bij depressie tot nog toe ernstig overschat is. In deze bijdrage zal ik de resultaten van enkele onderzoeken presenteren waaruit die overschatting duidelijk naar voren komt. Dit slechte nieuws heeft recentelijk enige aandacht in de media gekregen, waaronder Trouw en de Volkskrant. De Wolf (2010) bekritiseert in zijn column in het vorige nummer van het Tijdschrift voor Psychotherapie vooral het artikel over ons onderzoek dat in Trouw verscheen. In de voorliggende bijdrage zal ik reageren op zijn kritiek.


De effecten van psychotherapie bij depressie

De omvangrijke hoeveelheid onderzoek naar psychotherapie bij depressie heeft duidelijk gemaakt dat psychotherapeutische behandelingen voor depressie effectief zijn in vergelijking met wachtlijstcontrolegroepen, care as usual en placebomedicatie (Churchill en anderen, 2001; Cuijpers, Van Straten, Warmerdam & Smits, 2008). Deze behandelingen zijn niet alleen effectief gebleken bij volwassenen in het algemeen, maar ook bij specifieke doelgroepen, zoals oudere volwassenen (Cuijpers, Van Straten & Smit, 2006), vrouwen met postpartum-depressie (Lumley, Austin & Mitchell, 2004) en patiënten met lichamelijke aandoeningen en depressie (Van Straten, Geraedts, Verdonck-de Leeuw, Andersson & Cuijpers, in druk), waaronder multiple sclerose (Mohr & Goodkin, 1999), beroertes (Hackett, Anderson & House, 2004) en kanker (Sheard & McGuire, 1999). Diverse vormen van psychotherapie blijken effectief te zijn bij depressie. Vooral de effectiviteit van cognitieve gedragstherapie is aangetoond (Gloaguen, Cottraux, Cucherat & Blackburn, 1998; Churchill en anderen, 2001). Maar er zijn ook verschillende andere vormen van psychotherapie effectief gebleken, waaronder interpersoonlijke psychotherapie (De Mello, De Jesus Mari, Bacaltchuk, Verdeli & Neugebauer, 2005), problem solving-therapie (Malouff, Thorsteinsson & Schutte, 2007; Cuijpers, Van Straten & Warmerdam, 2007a), gedragsactiverende therapie (Cuijpers, Van Straten & Warmerdam, 2007b; Ekers, Richards & Gilbody, 2008) en kortdurende psychodynamische therapieën (Leichsenring, 2001; Leichsenring & Rabung, 2008). Dergelijke therapieën zijn niet alleen effectief wanneer zij individueel worden toegepast, maar ook als groepstherapie en als begeleide zelfhulp (McDermut, Miller & Brown, 2001; Cuijpers, Donker, Van Straten, Li & Andersson, in druk). De effecten van psychotherapie zijn vergelijkbaar met die van farmacotherapie (De Maat, Dekker, Schoevers & De Jonghe, 2006; Cuijpers, Van Straten, Van Oppen & Andersson, 2008). Gecombineerde behandelingen zijn effectiever dan psychotherapie alleen (De Maat, Dekker, Schoevers & De Jonghe, 2007; Cuijpers, Van Straten, Warmerdam & Andersson, 2009) en dan farmacotherapie alleen (Friedman en anderen, 2004; Pampanolla, Bollini, Tibaldi, Kupelnick & Munizza, 2004; Cuijpers, Dekker, Hollon & Andersson, 2009). Op basis van onze eigen database van onderzoeken naar psychologische behandeling van depressie hebben wij inmiddels 25 meta-analyses gepubliceerd. Een overzicht van de resultaten daarvan verscheen in het voorjaarsnummer van Gedragstherapie (Cuijpers, Van Straten, Van Oppen & Andersson, 2010).

Psychotherapie voor depressie lijkt een empirisch goed onderbouwde behandeling. In de afgelopen jaren hebben tientallen meta-analyses deze stevige verankering bevestigd. Naast dit goede nieuws is er echter ook slecht nieuws. Enkele recente onderzoeken laten namelijk zien dat deze meta-analyses de effecten van psychotherapie bij depressie systematisch hebben overschat.


Overschatting van de effecten vanwege de onderzoekskwaliteit

De eerste reden waarom de effecten overschat zijn, heeft te maken met de kwaliteit van het onderzoek. In een recente meta-analyse onderzochten we de relatie tussen de kwaliteit van onderzoeken naar psychotherapie en de effectgroottes die werden gevonden (Cuijpers, Van Straten, Bohlmeijer, Hollon & Andersson, 2010). De kwaliteit van de interventie werd gemeten aan de hand van enkele criteria: waren de therapeuten goed getraind; werd de integriteit van de interventie gecontroleerd door bijvoorbeeld het opnemen en controleren van sessies of intervisie; werd er een manual gebruikt (ontleend aan Chambless & Hollon, 1998). Ook de methodologische kwaliteit van de studie werd gemeten: werd er een diagnostisch interview gehouden; waren alle patiënten die at random aan de onderzoekscondities werden toegewezen ook meegenomen in de eindanalyses; waren de interviewers ‘geblindeerd’; was er een minimum van vijftig respondenten; onafhankelijke randomisatie. Van de 115 onderzoeken waarin psychotherapie vergeleken werd met een controlegroep bleken slechts 11 onderzoeken (16 vergelijkingen tussen psychotherapie en controle) te voldoen aan alle criteria. Ook bleken deze 11 onderzoeken gemiddeld genomen een veel kleinere effectgrootte op te leveren (Cohens d=0,22) dan de onderzoeken van lagere kwaliteit (d=0,74). Het aantal mensen dat men moet behandelen om één positieve uitslag meer te hebben dan in de niet-behandelde groep (numbers-needed-to-treat ofwel NNT) was in de onderzoeken van lage kwaliteit ongeveer 2 a 3, terwijl dat in de onderzoeken van hoge kwaliteit ongeveer 8 was. Er is dus een sterk verband tussen kwaliteit van de studie en de effecten die gevonden worden. Dat verschil bleef overeind als gecontroleerd werd voor de andere kenmerken van de onderzoeken.


Overschatting van de effecten door publicatiebias

De tweede reden waarom de effecten van psychotherapie zijn overschat heeft te maken met publicatiebias. Dit verwijst naar het fenomeen dat negatieve onderzoeken niet of minder gepubliceerd worden dan positieve onderzoeken (met grotere effecten). Het bestaan van publicatiebias bij onderzoek naar antidepressiva is recentelijk in verschillende publicaties aangetoond en daarbij kwam naar voren dat de effecten van antidepressiva aanzienlijk overschat zijn (Kirsch en anderen, 2008; Turner, Matthews, Linardatos, Tell & Rosenthal, 2008). Bij antidepressiva kan men publicatiebias direct aantonen door te gaan zoeken naar onderzoeken die door farmaceutische bedrijven zijn uitgevoerd maar die nooit in wetenschappelijke tijdschriften zijn gepubliceerd. Bij psychotherapie kan dat niet omdat er geen databases zijn waar ongepubliceerde onderzoeken zijn geregistreerd.

Maar er bestaat een andere manier om publicatiebias te onderzoeken. Daarbij wordt ervan uitgegaan dat een zogeheten funnel plot symmetrisch verdeeld is. Op de horizontale as van het plot staat de effect size en op de verticale as de standaardfout (die men kan zien als een indicatie voor de grootte van de studie in termen van respondenten). In figuur 1 is zo’n funnel plot weergegeven. Onderzoeken met grotere onderzoeksgroepen (die hoger in de figuur staan) liggen dichter bij de gemiddelde effectgrootte omdat zij door hun grotere aantallen een preciezere schatting geven van het effect. Naarmate minder patiënten in de onderzoeken waren opgenomen (die staan lager in de figuur), wijkt de effectgrootte meer af van het gemiddelde en zij kunnen daarom verder van dat gemiddelde af liggen. Als er publicatiebias is, zien we dat kleine onderzoeken die rechts van het gemiddelde liggen wel gepubliceerd zijn (dit zijn onderzoeken met grote effectgroottes) en dat onderzoeken die links van het gemiddelde liggen niet of minder vaak gepubliceerd werden. Deze laatste zijn de kleine onderzoeken die kleine of negatieve effecten laten zien. De linkeronderhoek van de figuur is dan leger dan de rechteronderhoek. In figuur 1 kan men met het blote oog zien dat dit het geval is.

Er zijn verschillende methoden ontwikkeld om deze scheefheid van het funnel plot te toetsen. Een van die manieren is de trim and fill-procedure van Duval & Tweedie (2000). Daarbij worden de onderzoeken die in de linkerkant ontbreken ‘bijgeschat’ (de zogeheten imputatie) op basis van wat te verwachten valt bij een symmetrische verdeling. Met deze methoden wordt een schatting verkregen van het aantal onderzoeken dat niet gepubliceerd is, maar ook van de effectgrootte na correctie voor de ontbrekende onderzoeken. De resultaten hiervan staan ook in Figuur 1 (onderste helft).
MediaObjects/12485_2010_BF03096150_Fig1_HTML.jpg
Figuur 1 Funnel plots van onderzoek naar psychotherapie voor depressie bij volwassenen met en zonder geïmputeerd onderzoek (imputatie volgens de trim and fill procedure van Duval & Tweedie, 2000).Bovenste figuur: zonder bijgeschatte onderzoeken. Onderste figuur: met bijgeschatte studies (zwarte punten zijn bijgeschatte onderzoeken).

We hebben over dit probleem recentelijk een artikel geschreven in British Journal of Psychiatry (Cuijpers, Smit, Bohlmeijer, Hollon & Andersson, 2010). In dat artikel zijn de onderzoeken geanalyseerd die voor 1 januari 2009 gepubliceerd zijn (in totaal 117 onderzoeken met 175 vergelijkingen tussen psychotherapie en een controlegroep). In figuur 1 zijn de cijfers gepresenteerd van de onderzoeken die tot 1 januari 2010 gepubliceerd zijn (134 onderzoeken met 196 vergelijkingen). De effectgrootte (Cohens d) die gevonden wordt op basis van de 196 vergelijkingen is d=0,64 (95% BI1: 0.57~0.71; NNT=2,86). Na correctie voor publicatiebias wordt de effectgrootte d=0,43 (95% BI: 0.35~0.50; aantal bij geschatte = geimputeerde onderzoeken: 56; NNT=4,20).

We hebben deze gegevens in het artikel in British Journal of Psychiatry nader onderzocht door ook te kijken naar subgroepen van onderzoeken. Daarbij bleek dat de publicatiebias bij cognitieve gedragstherapie groot was. Bij interpersoonlijke psychotherapie werd daarentegen geen aanwijzing voor publicatiebias gevonden, maar dat kan ook veroorzaakt zijn door het kleinere aantal onderzoeken dat deze therapievorm onderzocht.


Wat betekent dit nu allemaal?

Er lijkt overtuigend bewijs te zijn dat de effecten van psychotherapie bij depressie overschat zijn. Ten eerste is de kwaliteit van het merendeel van de onderzoeken onvoldoende en onderzoeken van hoge kwaliteit laten veel kleinere effecten zien dan de onderzoeken van mindere kwaliteit. Ten tweede lijkt er ook bij onderzoek naar psychotherapie een aanzienlijke publicatiebias te bestaan. Hoewel er geen farmaceutische bedrijven met aanzienlijke economische belangen in psychotherapie zijn, heeft ook onderzoek naar psychotherapie last van publicatiebias.

De Wolf heeft Lambert waarschijnlijk verkeerd begrepen toen die zei dat 1/3 van de patiënten duidelijk baat heeft bij psychotherapie, dat 1/3 verslechtert en 1/3 van de patiënten enig profijt trekt van psychotherapie (De Wolf, 2010). Een veel betere vuistregel, die we tot nu toe hanteerden, is namelijk dat 1/3 ook zonder de psychotherapie opgeknapt zou zijn, 1/3 baat heeft bij psychotherapie, en 1/3 verslechtert of onvoldoende opknapt. Op basis van de gegevens uit onze onderzoeken blijkt nu dat niet 1/3 van de patiënten opknapt door psychotherapie, maar slechts 1/8. Dat is voor patiënten die opknappen door psychotherapie nog steeds belangrijk en dat mag geen reden zijn om te stoppen met psychotherapie.

Moeten we nu op basis van dit alles concluderen dat psychotherapie geen zin heeft bij depressie, zoals in sommige media gesuggereerd werd naar aanleiding van het artikel over publicatiebias? Zeker niet. Ook na correctie voor de kwaliteit van de onderzoeken en voor publicatiebias blijft psychotherapie effectief, zij het minder dan voorheen gedacht werd. Ook als we 8 in plaats van 3 mensen moeten behandelen om één positieve uitkomst meer te realiseren dan is dat een waardevol resultaat. En dat staat nog los van de resultaten op langere termijn die vooral voor cognitieve therapie redelijk robuust lijken te zijn (Vittengl, Clark, Dunn & Jarrett, 2007). Ik zie daarom geen reden om de richtlijnen voor de behandeling van depressie te veranderen.


Onderzoekers versus psychotherapeuten?

De overschatting van de effecten van psychotherapie heeft deels te maken met publicatiebias. De Wolf verwijt mij dat ik in Trouw psychotherapeuten beschuldig voor de publicatiebias verantwoordelijk te zijn, terwijl in feite de onderzoekers de boosdoeners zijn. Ik zou daarbij kunnen verwijzen naar journalisten die niet precies genoeg opschrijven wat ik feitelijk gezegd heb. Maar daar wil ik me niet achter verschuilen (hoewel ik dit inderdaad natuurlijk niet zo gezegd heb), omdat er een ingewikkelder probleem achter ligt. De mensen die deze onderzoeken (niet) gepubliceerd hebben zijn niet alleen onderzoekers, maar tegelijk ook psychotherapeuten. De meeste onderzoekers zijn ook therapeut of hebben in ieder geval stevige wortels in de praktijk van de GGZ. Wellicht was het correcter geweest als in het artikel in Trouw ‘therapeuten/onderzoekers’ had gestaan. Maar het is juist de therapeutische rol van deze mensen die hen blootstelt aan de verleiding om minder gunstige resultaten niet te publiceren. Positieve onderzoeksuitkomsten zouden wel eens kunnen leiden tot meer verkoop van manuals of andere boeken, prestige en uitnodigingen voor lezingen en workshops.

De Wolf toont zich gefrustreerd omdat onderzoek naar de langetermijneffecten van psychotherapie niet past binnen de huidige subsidiekaders. Daar heb ik begrip voor en dat dit onderzoek nodig is, kan ik alleen maar ondersteunen. Maar hij maakt daarbij terloops een aantal opmerkingen aan mijn adres waar ik op wil reageren. Zo vindt hij dat het beleid te veel bepaald wordt door onderzoekers die onvoldoende bij de praktijk betrokken zijn. Daarvan heb ik al gezegd dat dit een verkeerd beeld van de werkelijkheid geeft. Er zijn onderzoekers, er zijn psychotherapeuten, maar er zijn vooral veel mensen ergens daar tussenin. Onderzoekers hebben stevige wortels in de klinische praktijk en psychotherapeuten hebben een stevig wetenschappelijk fundament. De mensen die zowel nationaal als internationaal klinisch onderzoek doen, hebben vrijwel allemaal stevige wortels in de praktijk van de GGZ. De GGZ is daarbij wel breder dan de gespecialiseerde tweedelijns-GGZ (80% van de mensen met een depressie wordt bijvoorbeeld in de eerste lijn behandeld).

Maar belangrijker is dat onderzoek en praktijk niet twee verschillende werelden zijn, maar juist hand in hand moeten gaan bij het aanpakken van belangrijke psychische problemen. Zonder een wetenschappelijke basis heeft psychotherapie niet meer bestaansrecht dan oerschreeuwtherapie, aromatherapie en alle andere exotische therapieën die via het alternatieve circuit worden aangeboden. Het is niet zo dat het beleid op dit terrein steeds meer bepaald wordt door onderzoekers, maar er vindt wel een verschuiving plaats naar evidence-based werken. Dat houdt in dat patiënten behandelingen krijgen aangeboden waarvan we weten dat ze werken, ten gunste van behandelingen waarvan we dat niet weten. Dat is een goede zaak. Wie wil er nu van zijn huisarts een behandeling krijgen waarvan het niet duidelijk is of die werkt, terwijl er een andere behandeling is waarvan het zeker is dat die wel werkt (ook al is dat bij depressie wat minder dan we altijd dachten)?


Prioritering van toekomstig onderzoek

Ook bij de rest van zijn betoog vliegt De Wolf op een aantal punten ‘bepaald uit de bocht’ (p. 210). Ten eerste suggereert hij dat de term ‘terugval’ niet op zijn plaats is bij depressie, onder verwijzing naar een model van Susan Hart. Zij beschrijft dat therapie werkt doordat zij nieuwe neurale circuits aanmaakt die een alternatief circuit aanleggen voor de oude circuits. De Wolf verwisselt hier een interessant theoretisch model met empirisch bewijs. Hoewel het model van Hart uitermate boeiend is, ken ik geen onderzoek dat aantoont dat therapie inderdaad zo werkt. Misschien ‘hebben therapeuten [daar] al langer over nagedacht’ zoals De Wolf badinerend aangeeft (p. 210), maar gelukkig is voor de meeste therapeuten en onderzoekers een theoretisch model zonder empirisch bewijs niet voldoende reden om een belangrijke term als ‘terugval’ af te schaffen. ‘Terugval’ is en blijft een belangrijk fenomeen dat prioriteit verdient bij onderzoek.

Een tweede kanttekening bij het verhaal van De Wolf gaat over de aanbeveling, die ik volgens Trouw gedaan heb, dat therapeuten hun depressieve patiënten moeten aansporen meer leuke dingen te gaan doen. Ik heb tegen de betreffende journalist gepraat over behavioural activation, een relatief eenvoudige therapie, die uit vergelijkend onderzoek als even effectief naar voren komt als cognitieve gedragstherapie en andere psychotherapieën (Ekers en anderen, 2008; Cuijpers en anderen, 2007b), vooral bij mensen met ernstige depressies (Dimidjian en anderen, 2006). Ook hier weer dat badinerende toontje van De Wolf: ‘Therapeuten weten dat leuke dingen doen niet tot verandering leidt.’ (p. 212). Zo’n twintig gerandomiseerde trials hebben laten zien dat behavioural activation een effectieve behandeling is, maar De Wolf veegt ze met het allergrootste gemak in de prullenbak: ‘mensen gaan weer leuke dingen doen doordat ze – in een succesvolle behandeling – aan het veranderen zijn.’ (p. 212).

Ik heb begrip voor de boosheid van De Wolf dat onderzoek naar de langetermijneffecten van psychotherapie moeilijk te financieren is. Maar in plaats van hier op volwassen, respectvolle wijze over in discussie te gaan bindt De Wolf met alles en iedereen de strijd aan en beschuldigt hen van een onheuse bejegening: mij, mijn collega-onderzoekers, ZonMw, de DBCs, het College van Zorgverzekeringen en alle andere instanties die maar niet willen inzien hoe rechtvaardig de zaak van de langdurige psychotherapie is – als een verwend kind dat driftig om zich heenslaat omdat hij niet krijgt wat hij wil.

Had Freud daar niet een paar interessante dingen over gezegd?


Literatuur

Chambless, D.L. & Hollon, S.D. (1998). Defining empirically supported therapies. Journal of Consulting and Clinical Psychology, 66, 7-18.
 
Churchill, R., Hunot, V., Corney, R., Knapp, M., McGuire, H., Tylee, A. & Wessely, S. (2001). A systematic review of controlled trials of the effectiveness and cost-effectiveness of brief psychological treatments for depression. Health Technology Assessment, 5, 35.
 
Cuijpers, P., Straten, A. van, Oppen, P. van & Andersson, G. (2010). Welke psychologische behandeling, uitgevoerd door wie, is het meest effectief bij depressie? Gedragstherapie, 43, 79-113.
 
Cuijpers, P., Straten, A. van, Bohlmeijer, E., Hollon, S.D. & Andersson, G. (2010). The effects of psychotherapy for adult depression are overestimated: A meta-analysis of study quality and effect size. Psychological Medicine, 40, 211-223.
 
Cuijpers, P., Smit, F., Bohlmeijer, E.T., Hollon, S.D. & Andersson, G. (2010). Is the efficacy of cognitive behaviour therapy and other psychological treatments for adult depression overestimated? A meta-analytic study of publication bias. British Journal of Psychiatry, 196, 173-178.
 
Cuijpers, P., Donker, T., Straten, A. van, Li, J. & Andersson, G. (in druk). Is guided self-help as effective as face-to-face psychotherapy for depression and anxiety disorders? A systematic review and meta-analysis of comparative outcome studies. Psychological Medicine (epublication ahead of print).
 
Cuijpers, P., Dekker, J., Hollon, S.D. & Andersson, G. (2009). Adding psychotherapy to pharmacotherapy in the treatment of depressive disorders in adults: A meta-analysis. Journal of Clinical Psychiatry, 70, 1219-1229.
 
Cuijpers, P., Straten, A. van, Oppen, P. van & Andersson, G. (2008). Are psychological and pharmacological interventions equally effective in the treatment of adult depressive disorders? A meta-analysis of comparative studies. Journal of Clinical Psychiatry, 69, 1675-1685.
 
Cuijpers, P., Straten, A. van, Warmerdam, L. & Andersson, G. (2009). Psychological treatment versus combined treatment of depression: A meta-analysis. Depression & Anxiety, 26, 279-288.
 
Cuijpers, P., Straten, A. van, Warmerdam, L. & Smits, N. (2008). Characteristics of effective psychological treatments of depression; a meta-regression analysis. Psychotherapy Research, 18, 225 - 236.
 
Cuijpers, P., Straten, A. van & Warmerdam, L. (2007a). Problem solving therapies for depression: A meta-analysis. European Psychiatry, 22, 9-15.
 
Cuijpers, P., Straten, A. van & Warmerdam, L. (2007b). Behavioral treatment of depression: A meta-analysis of activity scheduling. Clinical Psychology Review, 27, 318-326.
 
Cuijpers, P., Straten, A. van & Smit, F. (2006). Psychological treatment of late-life depression: A meta-analysis of randomized controlled trials. International Journal of Geriatric Psychiatry, 21, 1139-1149.
 
De Mello, M.F., De Jesus Mari, J., Bacaltchuk, J., Verdeli, H. & Neugebauer, R. (2005). A systematic review of research findings on the efficacy of interpersonal therapy for depressive disorders. European Archives of Psychiatry and Clinical Neuroscience, 255, 75-82.
 
Dimidjian, S., Hollon, S.D., Dobson, K.S., Schmaling, K.B., Kohlenberg, R.J., Addis, M.E., Gallop, R., McGlinchey, J.B., Markley, D.K., Gollan, J.K., Atkins, D.C., Dunner, D.L. & Jacobson, N.S. (2006). Randomized trial of behavioral activation, cognitive therapy, and antidepressant medication in the acute treatment of adults with major depression. Journal of Consulting and Clinical Psychology, 74, 658-670.
 
Duval, S. & Tweedie, R. (2000). Trim and fill: A simple funnel-plot-based method of testing and adjusting for publication bias in meta-analysis. Biometrics, 56, 455-463.
 
Ekers, D., Richards, D. & Gilbody, S. (2008). A meta-analysis of randomized trials of behavioural treatment of depression. Psychological Medicine, 38, 611-623.
 
Friedman, M.A., Detweiler-Bedell, J.B., Leventhal, H.E., Horne, R., Keitner, G.I. & Miller, I.W. (2004). Combined Psychotherapy and Pharmacotherapy for the Treatment of Major Depressive Disorder. Clinical Psychology Science and Practice, 11, 47-68.
 
Gloaguen, V., Cottraux, J., Cucherat, M. & Blackburn, I.M. (1998). A meta-analysis of the effects of cognitive therapy in depressed patients. Journal of Affective Disorders, 49, 59-72.
 
Hackett, M.L., Anderson, C.S. & House, A.O. (2004). Interventions for treating depression after stroke. Cochrane Database of Systematic Reviews, 2004, 2.
 
Kirsch, I., Deacon, B.J., Huedo-Medina, T.B., Scoboria, A., Moore, T.J. & Johnson, B.T. (2008). Initial severity and antidepressant benefits: A meta-analysis of data submitted to the food and drug administration. Plos Medicine, 5, e45.
 
Leichsenring, F. (2001). Comparative effects of short-term psychodynamic psychotherapy and cognitive-behavioral therapy in depression: A meta-analytic approach. Clinical Psychology Review, 21, 401–419.
 
Leichsenring, F. & Rabung, S. (2008). Effectiveness of long-term psychodynamic psychotherapy: a meta-analysis. Journal of the American Medical Association, 300, 1551-1565.
 
Lumley, J., Austin, M.P. & Mitchell, C. (2004). Intervening to reduce depression after birth: A systematic review of the randomized trials. International Journal of Technology Assessment in Health Care, 20, 128-144.
 
Maat, S. de, Dekker, J., Schoevers, R.A. & Jonghe, F. de (2006). Relative efficacy of psychotherapy and pharmacotherapy in the treatment of depression: A meta-analysis. Psychotherapy Research, 16, 566-578.
 
Maat, S. de, Dekker, J., Schoevers, R.A. & Jonghe, F. de (2007). Relative efficacy of psychotherapy and combined therapy in the treatment of depression: A meta-analysis. European Psychiatry, 22, 1-8.
 
Malouff, J.M., Thorsteinsson, E.B. & Schutte, N.S. (2007). The efficacy of problem solving therapy in reducing mental and physical health problems: A meta-analysis. Clinical Psychology Review, 27, 46-57.
 
McDermut, W., Miller, I.W. & Brown, R.A. (2001). The efficacy of group psychotherapy for depression: A meta-analysis and review of the empirical research. Clinical Psychology: Science and Practice, 8, 98-116.
 
Mohr, D.C. & Goodkin, D.E. (1999). Treatment of depression in multiple sclerosis: Review and meta-analysis. Clinical Psychology: Science and Practice, 6, 1-9.
 
Pampanolla, S., Bollini, P., Tibaldi, G., Kupelnick, B. & Munizza, C. (2004). Combined pharmacotherapy and psychological treatment for depression; a systematic review. Archives of General Psychiatry, 61, 714-719.
 
Sheard, T. & McGuire, P. (1999). The effect of psychological interventions on anxiety and depression in cancer patients: results of two meta-analyses. British Journal of Cancer, 80, 1770–1780.
 
Straten, A. van, Geraedts, A., Verdonck-de Leeuw, I., Andersson, G. & Cuijpers, P. (in druk). Psychological treatment of depressive symptoms in patients with medical disorders: a meta-analysis. Journal of Psychosomatic Research (epublication ahead of print).
 
Turner, E.H., Matthews, A.A., Linardatos, E., Tell, R.A. & Rosenthal, R. (2008). Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 358, 252-60.
 
Vittengl, J.R., Clark, L.A., Dunn, T.W. & Jarrett, R.B. (2007). Reducing relapse and recurrence in unipolar depression: A comparative meta-analysis of cognitive-behavioral therapy’s effects. Journal of Consulting and Clinical Psychology, 75, 475-488.
 
Wolf, M. de (2010). Ceterum censeo…. (Column). Het nut van perverse prikkelingen. Tijdschrift voor Psychotherapie, 36, 209-212.
 

1 BI = betrouwbaarheidsinterval.
Naar boven