Elise R. Reefhuis, Maarten K. van Dijk, Maartje F. Miggiels,
Peter M. ten Klooster, Marcus J.H. Huibers, Jack J.M. Dekker

Samenvatting

Om een optimale afname in depressieve symptomen te bewerkstelligen is een goede therapeutische relatie van belang. Er wordt verwacht dat het vroeg meten van de kwaliteit van deze relatie tijdens behandeling de behandeluitkomst krachtiger kan voorspellen. Ook wordt verwacht dat waargenomen therapeutkenmerken gerelateerd zijn aan hoe de patiënt de therapeutische relatie waardeert. Matig tot ernstig depressieve patiënten werden volgens een toevalsprocedure toegewezen aan cognitieve gedragstherapie (cgt) of kortdurende psychoanalytische steungevende psychotherapie (kpsp). Meetmomenten waren er bij baseline, week 1, 2, 4 en 8 om de waargenomen betrouwbaarheid, expertise en attrac­tivi­teit van de therapeut, de kwaliteit van de therapeutische relatie en depressieve klachten

te monitoren. De therapeutische relatie hangt vanaf de eerste week matig sterk samen met depressieve klachten later in behandeling (r’s -0,28 tot -0,42, p’s < 0,01). De voorspellende waarde is het grootst na twee weken (vier sessies). Ook is de kwaliteit van de vroege therapeutische relatie sterk voorspellend voor de therapeutische relatie later. Symptoomverandering in de eerste twee sessies van de behandeling is niet voorspellend voor de kwaliteit van de therapeutische relatie na twee sessies. Ten slotte wordt een matige tot sterke relatie gezien tussen waargenomen therapeutkenmerken bij aanvang en de therapeutische relatie. Het in een vroeg stadium monitoren en optimaliseren van de therapeutische relatie tijdens behandeling lijkt van belang voor sterkere symptoomreductie. Een afkapscore van de therapeutische relatie, het beste na twee weken, zou mogelijk antwoord kunnen geven op de vraag of de kwaliteit voldoende dan wel onvoldoende is. Aanbevolen wordt om waargenomen therapeutkenmerken mee te nemen in toekomstige analyses om meer te begrijpen van de invloed van de therapeutische relatie op symptoomverandering. Dit zou eventueel nog eerder in de behandeling interveniëren mogelijk maken.

The therapeutic relationship as early predictor in the psychological treatment for depression

Abstract

In order to achieve an optimal decrease in depressive symptoms, a good therapeutic relationship is imperative. It is hypothesized that the early quality of this relationship in treatment can predict treatment outcome strongly. Therapist characteristics contingent to how the patient values the therapeutic relationship were also examined. Moderately to severely depressed patients were randomly assigned to cognitive behavioural therapy (cbt) versus short psychoanalytic supportive psychotherapy (spsp). Perceived reliability, expertise and attractiveness of the therapist, as well as the quality of the therapeutic relationship and depressive symptoms were measured at baseline, week 1, 2, 4 and 8 after therapy had started. From the first week onwards, the therapeutic relationship correlates moderately strong (r’s -0,28 to 0,42, p’s < 0,01) to symptom severity later in treatment. The predictive value is highest after two weeks (four sessions). Furthermore, the quality of the early therapeutic relationship is strongly predictive of the therapeutic relationship later on. Symptom change in the first two weeks of treatment is not predictive of the quality of therapeutic relationship after two weeks. Finally, a moderate to strong relationship is seen between observed therapeutic characteristics at start and the therapeutic relationship. Optimizing the quality of the therapeutic relationship at the beginning of treatment might be important for stronger symptom reduction in the course of therapy. Early monitoring is important to be able to predict treatment outcome. Setting an empirically determined therapeutic relationship quality cut-off score, ideally after two weeks, might discriminate the quality of the therapeutic relationship as productive versus unproductive. Including

perceived therapist characteristic variables in empirical outcome studies is recommended clarifying how and how strongly the therapeutic relationship impacts early symptom change. This understanding may assist in adjusting early treatment strategy when treatment progress is suboptimal.

Inleiding

Behandelinterventies voor depressie

Op het gebied van behandeling van patiënten met een depressie is er een ruime keuze aan bewezen effectieve behandelinterventies (Cuijpers e.a., 2013), waarbij uit verschillende medicijnen (Linde e.a., 2015) en uit verschillende vormen van psychotherapie (Barth e.a., 2016) kan worden gekozen. In de Multidisciplinaire Richtlijnen Depressie wordt geadviseerd om aan patiënten met een depressieve stoornis als eerste keuze van behandeling een bewezen effectieve psychotherapie zoals cognitieve gedragstherapie (cgt), gedragstherapie of interpersoonlijke therapie aan te bieden. Er zijn aanwijzingen dat kortdurende psychoanalytische psychotherapie (kpp) eveneens effectief is (Spijker e.a., 2013). In een Nederlands gerandomiseerd en gecontroleerd vergelijkend effectonderzoek (Driessen e.a., 2013) werd gevonden dat kpp en cgt tot vergelijkbare afname van depressieve klachten leidden.

Het beeld dat zou kunnen ontstaan is dat er een grote kans is om goede behandelresultaten te behalen als therapeuten adequaat bewezen effectieve behandelingen en specifieke behandelprotocollen opvolgen. Voor een succesvolle behandeling van mensen met depressieve klachten lijkt echter meer nodig, want lang niet elke patiënt profiteert van behandeling. Cuijpers en anderen (2013) bespreken in hun meta-analyse dat bij behandeling van depressie bij volwassenen een aanzienlijk deel van de depressieve patiënten onvoldoende baat heeft bij een bewezen effectieve behandeling, zoals bijvoorbeeld cgt. In een meta-analyse van 92 studies waarin data van 6937 patiënten zijn gebruikt (Cuijpers e.a., 2014) komt naar voren dat slechts 62% van de patiënten met depressie na bewezen effectieve psychotherapeutische behandeling niet langer voldoet aan de criteria van een depressieve stoornis. Uit de vergelijkende effectstudie van Driessen en anderen (2013) blijkt eveneens dat niet alle patiënten (volledig) van hun depressie genezen, ook als richtlijn­behandelingen competent worden uitgevoerd. In dit onderzoek kwam naar voren dat een groot percentage van de aan het onderzoek deelnemende patiënten, niet voldoende verbeterde na 16 therapiesessies cgt of kortdurende psychoanalytische steungevende psychotherapie (kpsp). Bij gemiddeld slechts 22,7% van de patiënten werd voldaan aan de criteria voor remissie van de klachten.

Het hoge percentage patiënten dat ondanks het volgen van een bewezen effectieve psychotherapeutische behandeling restklachten blijft houden en het feit dat er een groep is die in het geheel niet lijkt te verbeteren, roept de vraag op of er in het behandeltraject eerder aanpassingen in de behandelstrategie kunnen worden aangebracht om alsnog vermindering van depressieve klachten te bewerkstelligen. Daarvoor is meer inzicht in factoren die het effect van psychotherapie vergroten onmisbaar.

Therapeutische relatie en depressie

Wetenschappelijke onderzoekers pleiten ervoor om in onderzoek naar psychotherapie meer aandacht te geven aan de niet-methodegebonden, ofwel de zogenaamde non-specifieke, factoren in de behandeling van depressie. Huibers (2015) bijvoorbeeld stelt dat het aannemelijk is dat zowel specifieke als algemene factoren een rol spelen bij de genezing van een patiënt. Bij algemene factoren gaat het vaak om de kwaliteit van de therapeutische relatie (Lambert & Barley, 2001; Wampold, 2015; Norcross, 2011). In een meta-analyse vergeleken Lambert en Barley (2001) het relatieve belang van diverse variabelen voor therapieresultaat bij een breed spectrum aan populaties met psychische stoornissen. De invloed van specifieke behandelvormen en technieken op het psychotherapieresultaat werd door hen geschat op 15%. Dit effect was even groot als het placebo-effect dat onder andere gedefinieerd wordt door factoren als het geloof in de werkzaamheid van de therapie, alsmede door de hoop en verwachting op positieve verandering. Lambert en Barley (2001) schaarden specifieke patiënt- en therapeutkenmerken en de therapeutische relatie allemaal samen onder de noemer ‘non-specifieke variabelen’. Deze zouden volgens de auteurs 30% van de variantie in het therapieresultaat verklaren. Bij veel onderzoek naar de invloed van de therapeutische relatie op de uitkomst van psychotherapie wordt uitgegaan van de definitie van Bordin (1979), die drie factoren onderscheidt die samen de kwaliteit van de therapeutische relatie zouden bepalen (Horvath e.a., 2011). Het gaat om (a) overeenstemming tussen patiënt en therapeut over de te behalen doelen, (b) overeenstemming over de in te zetten methoden en technieken om deze doelen zo goed mogelijk te behalen en (c) de door de patiënt ervaren emotionele band met de therapeut. Lambert en Barley (2001) concluderen dat patiënten vaak hun positieve therapieresultaten toeschrijven aan persoonlijke eigenschappen van hun therapeuten. Patiënten die hun therapie succesvol vonden, beschreven hun therapeut vaak als ‘warm, aandachtig, geïnteresseerd, begripvol en respectvol’(Lambert & Barley, 2001). De overige 40% van de variatie in het behandelresultaat zou zijn toe te schrijven aan factoren buiten de therapie (spontaan herstel, gebeurtenissen in het leven van de patiënt). Bij deze schattingen past de kanttekening dat de relatieve bijdragen van genoemde factoren aan het behandelresultaat niet door empirisch onderzoek naar causaliteit worden ondersteund (Huibers & Cuijpers, 2015).

Zou de kwaliteit van de therapeutische relatie het belangrijkste ingrediënt kunnen zijn bij de psychologische behandeling voor depressie? Er zijn een aantal auteurs die – in de oproep om meer aandacht te besteden aan niet-methodespecifieke factoren in de therapie – aangeven dat een belangrijk deel van de werkzaamheid van therapie gelegen is in factoren zoals de therapeutische relatie (Norcross, 2011; Wampold, 2015; Lambert & Barley, 2001). Wampold (2015) geeft in een artikel waarin hij data presenteert van een uitgevoerde meta-analyse, het advies om onderzoek naar deze niet-methodespecifieke factoren (waaronder de kwaliteit van de therapeutische relatie) te optimaliseren, zowel bij wetenschappelijk onderzoek als in de praktijk.

Uiteenlopende schattingen over de voorspellende waarde van de therapeutische relatie

Dat er verband kan worden gelegd tussen de ervaren kwaliteit van de therapeutische relatie en de uitkomst van psychotherapie is over de afgelopen twintig jaar herhaaldelijk gebleken (Flückiger e.a., 2012). Volgens diverse meta-analyses verklaart de therapeutische relatie, als een van de zogenaamde non-specifieke factoren, ongeveer 7% van de totale uitkomstvariantie van psychotherapeutische behandeling.

De schattingen van de sterkte van deze samenhang lopen echter uiteen, waardoor het gissen blijft hoe voorspellend de therapeutische relatie is voor de afname van klachten gedurende de behandeling (Huibers & Cuijpers, 2015).

Voor deze uiteenlopende schattingen van de grootte van het verband worden mogelijke verklaringen aangedragen, waaronder allereerst de rol die bepaalde mediatoren zouden kunnen spelen in de relatie tussen de kwaliteit van de therapeutische relatie en behandel­uitkomst (Kazdin, 2007) en ten tweede het tijdstip waarop de factoren (bijvoorbeeld de therapeutische relatie) worden gemeten. In een onderzoek van Hendriksen en anderen (2013) ontvingen patiënten 16 sessies kpsp in een periode van 24 weken. De kwaliteit van de therapeutische relatie (bij week 12) bleek – tegen de verwachting in – afname van depressieve klachten (tussen week 12 en 24) niet te voorspellen. Als mogelijke verklaring noemden deze onderzoekers dat de kwaliteit van de therapeutische relatie relatief laat (week 12, sessie 10) in de therapie werd gemeten (in de meeste studies vindt de meting in de eerste vijf sessies plaats). De vraag ontstond wat de invloed was van vroege afname van klachten op de kwaliteit van de therapeutische relatie. De voorspellende waarde van vroege afname van klachten op de kwaliteit van de therapeutische relatie werd dan ook onderzocht. De kwaliteit van de therapeutische relatie bleek niet te worden voorspeld door vroege symptoomverandering (Hendriksen e.a., 2013). In een latere gerandomiseerde vergelijkende effectstudie, uitgevoerd door dezelfde onderzoeksgroep, werd de kwaliteit van de therapeutische relatie al na 5 sessies (en opnieuw na 10 en 22 sessies) gemeten bij 94 depressieve, ambulant behandelde patiënten (Hendriksen e.a., 2014). Zo kon de voorspellende waarde van de vroege therapeutische relatie in kpsp op symptoomverandering worden vastgesteld. De therapeutische relatie – gemeten met de Helping Alliance Questionnaire I – voorspelde nu wel symptoomverandering (Hendriksen e.a., 2014). Deze bevinding onderstreept het belang van het in de eerste fase van de therapie optimaliseren van de kwaliteit van de therapeutische relatie, zoals vaker aangegeven (Lambert & Barley, 2001; Wampold, 2015; Norcross, 2011). Hendriksen en anderen (2013) concluderen dat verder onderzoek nodig is om de rol van de therapeutische relatie tijdens therapie op symptoomverandering te onderzoeken. Dit om de noodzaak van het optimaliseren van de therapeutische relatie voor behandeluitkomst te verhelderen, overeenkomstig de aanbevelingen van Huibers en Cuijpers (2015).

Uiteenlopende schattingen van de voorspellende waarde van de therapeutische relatie hebben te maken met de verschillende meetinstrumenten die gebruikt worden. In een meta-analyse van Horvath en anderen (2011) werd gevonden dat in 201 studies er meer dan 30 verschillende vragenlijsten zijn gebruikt voor het meten van de therapeutische relatie. De diversiteit rondom de definitie van de therapeutische relatie hangt samen met de verscheidenheid aan beoordelingsmaten. De meestgebruikte meetinstrumenten zijn de Helping Alliance Questionnaire (haq), de California Psychotherapy Alliance Scale (calpas) en de Working Alliance Intentory (wai). De effectgroottes (effect sizes = es) voor het gevonden verband tussen de therapeutische relatie en behandeluitkomst – gemeten met deze vragenlijsten – waren alle statistisch significant: calpas (28 studies) es = 0,23, p < 0,001, haq (31 studies) es = 0,29, p < 0,001 en wai (80 studies) es = 0,28, p < 0,001. De wai werd het vaakst gebruikt. Om de vergelijkbaarheid van resultaten van verschillende onderzoeken te bevorderen, is uniformiteit nodig van (a) het instrumentarium om de kwaliteit van de therapeutische relatie te meten, (b) de fasen in de therapie waarin de metingen plaatsvinden en (c) statistische analysemethoden (Hendriksen e.a., 2013).

Naast onderzoek naar de invloed van de therapeutische relatie op de behandeluitkomst is het ook wenselijk te doorgronden welke factoren (of mediatoren) de kwaliteit van de therapeutische relatie beïnvloeden (Kazdin, 2007). Enkele onderzoeken beschrijven hoe door de patiënt waargenomen therapeutkenmerken zoals attractiviteit, betrouwbaarheid en expertise mogelijk invloed hebben op de therapeutische relatie en behandeluitkomst (Barak & LaCrosse, 1975; Corrigan & Schmidt, 1983; Tracey, Glidden & Kokotovic, 1988). Daarmee lijkt het zinvol beoordelingen van een patiënt over de expertise, betrouwbaarheid en attractiviteit van de therapeut mee te nemen in relatie tot diens beoordeling van de therapeutische relatie, aangezien deze evaluatie al in een vroeg stadium bij de patiënt plaatsvindt. Bij een hoge (liefst oorzakelijke) samenhang met de therapeutische relatie kan een ‘slechte’ perceptie van de therapeutische relatie en van therapeutkenmerken eventueel ingrijpen in de behandeling eerder mogelijk maken.

Doel studie

Deze studie richt zich op de vraag wat de invloed is van de therapeutische relatie op de afname van depressieve klachten en op welk moment tijdens de behandeling de voorspellende waarde op behandeluitkomst het grootst is. Daarbij wordt tevens onderzocht of de ernst van klachten in het begin van de behandeling voorspellend is voor de kwaliteit van de vroege therapeutische relatie. Wanneer de therapeutische relatie in belangrijke mate bepalend voor het therapieresultaat blijkt te zijn en de kwaliteit van de relatie tussen de patiënt en therapeut slecht blijkt, kan er gedacht worden aan eerder ingrijpen in de behandeling. Ten slotte wordt ook de correlatie tussen de evaluatie van de therapeut en de beleving van de therapeutische relatie door de patiënt onderzocht om meer zicht te krijgen op determinanten van de therapeutische relatie. Mogelijk kan het verbeteren van de therapeutische relatie of het wisselen van therapeut meer vermindering van depressieve klachten bewerkstelligen dan het veranderen van de behandelmethode.

Methode

Design

Deze studie is onderdeel van een onderzoek naar patiënten met een depressieve stoornis dat is opgezet als een gerandomiseerde gecontroleerde effectstudie (rct), bestaande uit twee fases. Het zogeheten D*phase psychotherapieonderzoek staat geregistreerd in het Nederlands Trial Register met als trial id: ntr6019. De huidige deelstudie is gericht op de eerste fase, waarbij patiënten na een inclusie door middel van loting worden toegewezen aan cgt of kpsp. Gedurende deze eerste behandelfase van het onderzoek ontvangen deelnemers acht weken lang twee sessies per week gesprekstherapie.

Participanten

Deelnemers zijn geworven onder de patiënten die zich aanmelden bij de ambulante poli van de specialistische ggz van Dimence, zorgpad Stemming, gevestigd op de locaties in Zwolle, Almelo en Deventer. Inclusiecriteria zijn: (1) na het intakegesprek wordt volgens de MINI+ voldaan aan een matig of ernstige depressieve episode (American Psychiatric Association, 2000), (2) de depressieve episode moet de primaire diagnose zijn en (3) de patiënt dient tussen de 18 en 65 jaar te zijn. Exclusiecriteria zijn: (1) onvoldoende beheersing van de Nederlandse taal, (2) psychotische symptomen, (3) drugs- of alcoholafhankelijkheid, (4) ernstige suïcidaliteit, die acuut ingrijpen vereist en/of (5) andere redenen waardoor zij niet in het behandelprotocol passen (bijvoorbeeld langdurig verblijf elders). Wat betreft medicatie geldt dat proefpersonen alleen kunnen deelnemen wanneer zij ofwel geen medicatie gebruiken ofwel stabiel en adequaat zijn ingesteld op medicatie (4-6 weken; volgens minimale streefdoseringen zoals beschreven in de richtlijn). Indien de patiënt goed is ingesteld op medicatie, wordt deze gecontinueerd zoals de psychiater heeft geadviseerd, maar niet gewijzigd tijdens het onderzoek, tenzij noodzakelijk vanwege bijvoorbeeld bijwerkingen of een crisis.

Procedure

Na de reguliere intake en toestemmingsverklaring wordt bij de proefpersonen een baselinemeting afgenomen. Met inachtneming van de score op een depressievragenlijst worden patiënten na stratificatie gerandomiseerd verdeeld over de twee condities van het onderzoek. Stratificatie is gebaseerd op ernst van depressie (≤ 38 of > 39) en duur van depressie (< 2 jaar en ≥ 2 jaar). De proefpersonen worden behandeld met cgt of kpsp. Er volgen vier meetmomenten: (1) tussenmeting na 1 week (meting therapeutkenmerken, therapeutische relatie en depressieve klachten); (2) tussenmeting na 2 weken (meting therapeutische relatie en depressie); (3) tussenmeting na 4 weken (meting therapeutische relatie en depressieve klachten), en (4) een effectmeting na 8 weken (meting depressieve klachten). Voor het meten van de therapeutische relatie wordt gebruikgemaakt van de Nederlandse versie van de wai, de internationaal meestgebruikte alliantiemaat. Verwacht wordt dat de voorspellende waarde vóór de vijfde sessie het grootst is (Hendriksen e.a., 2014).

Interventies

Deelnemers krijgen 16 behandelsessies kpsp of cgt aangeboden binnen een tijdsduur van 8 weken. De behandeling is met twee wekelijkse afspraken intensief, in de verwachting dat dit het effect van de behandeling ten goede zal komen (Cuijpers e.a., 2013). Therapeuten zijn uitgebreid geschoold in de geboden behandelmethodiek en krijgen tijdens het onderzoek supervisie van een erkend supervisor van de vereniging horend bij de gebruikte behandelmethoden. De training voor de kpsp-conditie is gebaseerd op het handboek Kortdurende psychoanalytische steungevende psychotherapie (De Jonghe, 2014). Het belangrijkste doel van (kortdurende) psychoanalytische psychotherapie is het vergroten van het inzicht in en het bewustzijn van interpersoonlijke en intrapsychische terugkerende conflicten. De therapeut concentreert zich op onopgeloste conflicten en (eerdere) relaties en hoe deze invloed hebben op het huidig functioneren van de patiënt. Daarnaast worden wensen, dromen en fantasieën van de patiënt geëxploreerd. kpsp is een meer steungevende variant van kpp, waarbij er bij kpsp wel erkenning, maar geen interpretaties van de overdracht plaatsvinden (Driessen e.a., 2007). De training voor de cgt-conditie is gebaseerd op het protocol Cognitieve gedragstherapie bij depressie (Bockting, Van Rijsbergen & Huibers, 2017) in Protocollaire behandelingen voor volwassenen met psychische klachten (Keijsers, Van Minnen & Hoogduin, 2017). Dit protocol is gebaseerd op de principes beschreven door Beck (1979) en het gedragsmatig model van Lewinsohn en anderen (1986). Binnen de cgt-conditie is de behandelfocus de aanwezigheid van disfunctionele automatische gedachten van de patiënt en het detecteren, uitdagen en aanpassen van deze disfunctionele overtuigingen. Daarnaast is het opbouwen van plezierige activiteiten en het doorbreken van vermijdingsgedrag belangrijk. Huiswerkopdrachten zijn een belangrijk onderdeel van de behandeling en patiënten maken gebruik van een werkboek om opdrachten te registreren. Van de behandelsessies worden geluidsbestanden gemaakt, die samen met supervisies gebruikt worden om behandelintegriteit te waarborgen en onderzoeken.

Onderzoeksvariabelen

afhankelijke variabele

De Inventory of Depressive Symptomatology - Self Report (IDS-SR)

De ids-sr (Rush e.a., 1986) dient als primaire uitkomstmaat. De ids-sr meet de ernst van depressieve symptomen middels zelfrapportage. Rush en anderen (1996) onderzochten de psychometrische eigenschappen van de 30-itemversie van de ids-sr bij 337 volwassen patiënten met actuele depressieve episodes en 118 volwassen met een normale stemming. De ids-sr beschikt over een goede interne consistentie (Cronbach’s α variërend van 0,92-0,94 voor de totale steekproef en van 0,76-0,82 voor mensen met een huidige depressie). De concurrente validiteit is eveneens bevredigend. De lijst correleert sterk met de Hamilton Rating Scale for Depression (ham-d) (0,67) en de Beck Depression Inventory (0,78-0,93).

De ids-sr richt zich op depressieve kenmerken van de afgelopen week. Het instrument omvat 30 items die moeten worden beantwoord op een vierpuntsschaal van 0 = geen klachten, 3 = in grote mate aanwezigheid klachten. De score van 28 van de 30 items worden bij elkaar opgeteld. Bij de vragen naar eetlust (11 en 12) wordt slechts één vraag meegenomen in de score (verminderde eetlust of toegenomen eetlust). Bij de vragen over gewicht (13 en 14) wordt slechts één vraag meegenomen in de score (gewichtsafname of gewichtstoename). Wanneer de vragen 11 en 12 (of 13 en 14) beide zijn ingevuld, wordt de hoogste score van de twee items meegenomen in de totale score. Het optellen van de scores van de 28 items leidt tot een score tussen de 0 en 84. Hoe hoger de score, hoe ernstiger de depressie.

onafhankelijke variabelen

De Werkalliantievragenlijst (WAV-12)

De wav meet de kwaliteit van de therapeutische relatie (Vertommen & Vervaeke, 1990). De wav is een vertaling van de Working Alliance Inventory (wai) van Horvath en Greenberg (1989). De wav is gebaseerd op de driedeling van Bordin (1979) en onderzoekt de drie kerningrediënten van de therapeutische relatie, te weten (a) gemeenschappelijke doelen, (b) overeenstemming over het middel of de methode en (c) een emotionele band. De meetperiode betreft de afgelopen behandelsessie. Er is een volledige versie en een verkorte versie.

De wav-12 is de verkorte versie en bestaat uit 12 items. Elk item dient beoordeeld te worden op een vijfpuntsschaal (1= zelden of nooit, 5 = altijd). De totaalscore van de wav-12 geeft een globale indicatie over de kwaliteit van de therapeutische relatie. Elk van de drie subschaalscores pretendeert een beeld te geven van de drie belangrijke kerningrediënten van de therapeutische relatie, zoals door Bordin gedefinieerd (Bordin, 1979). Hoe hoger de score, des te beter de kwaliteit van de therapeutische relatie (Stinckens, Claes & Ulburghs, 2009). In 2009 werden de psychometrische eigenschappen van deze verkorte wav-12 onderzocht. In het onderzoek werd de wav-12 gevalideerd voor de Vlaamse populatie bij 37 therapeuten en 256 cliënten, waarbij 210 cliënten ‘gewone therapie’ volgden en 46 cliënten ‘dadertherapie’ (Stinckens, Claes & Ulburghs, 2009). De driefactorenstructuur van de wav-12 werd bevestigd (taak, band, doel). In deze studie bleek de sterkste voorspeller voor een positief therapieresultaat een hoge score op de wav-Taakschaal (Stinckens, Claes & Ulburghs, 2009). Omwille van het belang van een goede relatie in de aanvangsfase van de therapie, wordt geadviseerd de wav-12 bij aanvang van het therapietraject om de twee sessies af te nemen en nadien om de vijf sessies (Stinckens e.a., 2012).

De Counselor Rating Form – Short Version (CRF-S)

De crf-s meet de waargenomen attractiviteit, betrouwbaarheid en expertise van de therapeut in de ogen van de patiënt. De oorspronkelijke vragenlijst (crf) is ontwikkeld door Barak en LaCrosse (1975). De volledige versie bestaat uit 36 items. In 1983 hebben Corrigan en Schmidt (1983) een verkorte versie ontwikkeld en gevalideerd (crf-s). De betrouwbaarheid van de verkorte versie bleek vergelijkbaar met de volledige versie en er was evidentie voor het onderscheid van drie subschalen, namelijk de waargenomen attractiviteit, betrouwbaarheid en expertise. Tracey, Glidden en Kokotovic (1988) voerden een factoranalyse uit bij 191 cliënten en 111 niet-patiënten. Zij vonden bewijs voor een model bestaande uit twee factoren. Drie groepsspecifieke factoren meten de subschalen waargenomen expertise, betrouwbaarheid en attractiviteit per 4 items. Daarnaast werd één algeheel onderliggende factor zichtbaar van alle 12 items tezamen, die de algemene tevredenheid ofwel de algemene positieve evaluatie over de therapeut meet. Tracey, Glidden en Kokotovic (1988) adviseren onderzoekers om in analyses zowel de specifieke eersteordefactoren mee te nemen in onderzoek (expertise, betrouwbaarheid en attractiviteit), als ook een tweedeordefactor (algemene tevredenheid ofwel algemene positieve evaluatie over de therapeut).

De verkorte crf bestaat uit 12 items. Alle items worden gescoord op een zevenpunts-Likertschaal (1 = in zeer lage mate en 7 = in zeer hoge mate). De eerste vier items meten de waargenomen attractiviteit, de tweede vier items de waargenomen expertise en de laatste vier items de waargenomen betrouwbaarheid. Hoe hoger de scores, hoe positiever de waargenomen therapeutkenmerken worden beoordeeld.

Voor onderhavig onderzoek is de crf-s vertaald naar het Nederlands, gebruikmakend van de richtlijnen van Beaton en anderen (2000). Bij de vertaling van de crf-s is gebruikgemaakt van twee onafhankelijke heen- en twee onafhankelijke terugvertalingen. Van de drie vertalers hadden er twee Nederlands als moedertaal, de derde was een Engelse native speaker.

Statistische analyses

De analyses zijn uitgevoerd met spss (Statistical Package for Social Sciences), versie 23.0.
Om een beschrijving te geven van de opbouw van de steekproef, werden eerst de demo­grafische gegevens van de proefpersonen geanalyseerd, zoals geslacht, leeftijd, opleiding, culturele achtergrond, maar ook ernst en duur van de depressie. Om te toetsen of de groep deelnemers die de behandeling afrondt (completers) verschilt van de groep drop-outs is gebruikgemaakt van chikwadraattoetsen (voor de nominale variabelen) en onafhankelijke t-toetsen (voor de continue variabelen).

Om te onderzoeken of waargenomen therapeutvariabelen (attractiviteit, expertise en betrouwbaarheid) gerelateerd zijn aan de therapeutische relatie werd gebruikgemaakt van Pearson’s correlatiecoëfficiënt.

Vervolgens is de wederkerige relatie tussen de therapeutische relatie (wav-12) en afname van depressieve klachten (ids-sr) onderzocht. Hiervoor werd gebruikgemaakt van een zogeheten cross-lagged panel design, om de richting van de samenhang te onderzoeken en mogelijke causaliteit aan te tonen. Binnen dit model zijn drie soorten verbanden van belang: autocorrelaties, synchrone correlaties en cross-lagged correlaties (Clegg, Jackson & Wall, 1977; Kenny, 1975). Door middel van autocorrelaties wordt de stabiliteit van dezelfde variabele (bijvoorbeeld de therapeutische relatie) over een periode met verschillende tijdstippen gemeten. Synchrone correlaties geven de samenhang tussen verschillende variabelen (bijvoorbeeld de therapeutische relatie en afname depressieve klachten) op hetzelfde tijdstip weer. Cross-lagged correlaties worden berekend om de samenhang tussen verschillende variabelen op verschillende tijdstippen in beeld te brengen, (bijvoorbeeld de therapeutische relatie en afname van depressieve klachten op het volgende meetmoment), waarbij wordt gecorrigeerd voor het vorige meetmoment van de afhankelijke variabele. Correlaties werden gemeten met zero-order en partiële Pearson’s correlatiecoëfficiënten.

Op basis van eerdere meta-analyses werd een matige correlatie van 0,30 tussen de therapeutische relatie en depressieve klachten verwacht (Flückiger e.a., 2012; Horvath e.a., 2011). Bij een significantieniveau van α = 0,05 (eenzijdig) en een power van 0,80 is een steekproefgrootte van 67 proefpersonen nodig om dit effect significant aan te tonen in een univariate correlatieanalyse.

Resultaten

Deelnemers

In de periode van september 2016 tot en met mei 2018 werden 665 mensen aangemeld bij de ambulante teams Angst & Stemming van Dimence bij wie een depressieve stoornis de primaire diagnose was. De instroom van patiënten met een primaire diagnose depressie werd vastgesteld aan de hand van het aantal dbc’s met een primaire diagnose depressie. Hiervan werden 92 patiënten geïncludeerd op basis van de hierboven beschreven inclusie- en exclusiecriteria (zie figuur 1).

Met betrekking tot de demografische variabelen valt er een verschil op tussen de groep van 71 deelnemers en de groep van 10 drop-outs (zie tabel 1). De groep uitvallers is – op het oog – vergeleken met de groep deelnemers wat jonger en vaker man, heeft een lager opleidingsniveau en een minder ernstige, tevens korter durende depressie. Deze eyeball-verschillen blijken bij toetsing echter niet statistisch significant.

Resultaten

De verschillende meetmomenten van de waargenomen therapeutkenmerken (totaalscores variërend van 12-84), de kwaliteit van de therapeutische relatie (als onafhankelijke variabele, variërend van 0-48) en de ernst van depressieve klachten (als uitkomstmaat, variërend tussen 0-84) zijn weergegeven in gemiddelden en standaarddeviaties in tabel 2. In de tabel valt op dat de geïncludeerde groep patiënten behoorlijk ernstig depressieve klachten rapporteerden, op grond van de gemiddelde baselinescore op de ids-sr (waarbij een score hoger dan 38 wordt gezien als een zeer ernstige depressie). De depressieve klachten nemen over de 16 sessies af met een gemiddelde van 10,35. De kwaliteit van de therapeutische relatie, gemeten met de wav-12, neemt over de 16 sessies toe met een gemiddelde van 4,55.

Tabel 2 CRF-S, WAV-12 en IDS-SR-scores (M, SD) op T0 (baseline), T1, T2, T3 en T4

Variabelen	T0	T1	T2	T3	T4
CRF-S totaal	–	68,39 (12,32)	–	–	–
CRF Aantrekkelijkheid	–	23,04 (4,60)	–	–	–
CRF Betrouwbaarheid	–	22,95 (4,6)	–	–	–
CRF Expertise	–	22,41 (3,99)	–	–	–
WAV-12 totaal	–	25,77 (9,8)	27,81 (9,84)	29,24 (9,76)	30,32 (9,74)
WAV Taak	–	7,61 (3,86)	8,32 (3,73)	8,68 (3,69)	8,75 (3,98)
WAV Doel	–	8,37 (3,49)	8,86 (3,93)	9,39 (3,91)	9,63 (3,77)
WAV Band	–	9,79 (3,58)	10,63 (3,39)	11,17 (3,52)	11,94 (3,41)
IDS-SR totaal	40,15 (9,97)	38,43 (12,73)	35,22 (13,24)	33,90 (12,91)	29,80 (14,10)

Correlaties

In tabel 3 is te zien dat de algehele evaluatie van de therapeut door de patiënt op tijdstip 1, evenals meer specifiek waargenomen therapeutkenmerken, zoals aantrekkelijkheid, betrouwbaarheid en expertise, op meetmoment 1 significant matig tot sterk correleren met de kwaliteit van de therapeutische relatie op elk gemeten tijdstip tijdens het behandeltraject. Deze correlatie blijft stabiel over de tijd.

Tabel 3 Pearson’s correlatiecoëfficiënten voor de correlatie tussen waargenomen therapeutkenmerken en de therapeutische relatie over de vier tijdstippen

	Therapeutische relatie (WAV-12)
	T1	T2	T3	T4
Waargenomen therapeutkenmerken T1	0,55**	0,62**	0,51**	0,49**
Waargenomen aantrekkelijkheid	0,49**	0,55**	0,48**	0,46**
Waargenomen betrouwbaarheid	0,59**	0,64**	0,55**	0,53**
Waargenomen expertise	0,49**	0,55**	0,42**	0,38**

**p < 0,01 (eenzijdig); *p < 0,05 (eenzijdig)

Uit figuur 2 blijkt dat de therapeutische relatie vanaf de eerste week voorspellend is voor de mate van depressieve klachten later in de behandeling. De kwaliteit van de therapeutische relatie blijkt namelijk op elk meetmoment significant negatief gecorreleerd met depressieve klachten op het daaropvolgende tijdstip. De voorspellende waarde is het grootst na twee weken (vier sessies). Symptoomverandering in de eerste twee sessies van de behandeling is niet voorspellend voor de kwaliteit van de therapeutische relatie na twee sessies. De depressieve klachten laten noch bij baseline, noch na de eerste week een significante correlatie zien met de kwaliteit van de therapeutische relatie na week 1. De kwaliteit van de vroege therapeutische relatie is voorspellend voor de therapeutische relatie later. Hoe hoger de kwaliteit van de therapeutische relatie in week 1, des te hoger de kwaliteit van de therapeutische relatie wordt beoordeeld later in de behandeling.

Discussie

Conclusies en implicaties

Deze studie onderzocht de invloed van de kwaliteit van de therapeutische relatie op afname van depressieve klachten als behandeluitkomst. Eerdere studies, waaronder meta-analyses en gerandomiseerde vergelijkende effectstudies, lieten over het algemeen het belang van een goede therapeutische relatie zien voor afname van klachten (Wampold, 2015; Norcross, 2011; Horvath e.a., 2011; Flückiger e.a., 2012; Hendriksen e.a., 2013; 2014). Echter, de schattingen over de sterkte van deze samenhang lopen bij enkele gerandomiseerde vergelijkende effectstudies uiteen (Hendriksen e.a., 2013; Huibers & Cuijpers, 2015). In eerder correlationeel onderzoek konden vaak geen uitspraken worden gedaan over de richting van het verband, en evenmin over het tijdstip waarop de relatie het sterkst voorspellend is voor behandeleffect. De uiteenlopende schattingen riepen dus de vraag op of en in hoeverre de therapeutische relatie voorspellend is voor de uitkomst van therapie en, zo ja, op welk moment dit het sterkst is. Die vraag kon tot dusverre niet worden beantwoord. Dankzij de door ons gekozen onderzoeksopzet kan die vraag voor het eerst worden beantwoord.

Dit onderzoek toont aan dat de kwaliteit van de therapeutische relatie vanaf de eerste week in de behandeling, gemeten met de wav-12, voorspellend is voor de mate van depressieve klachten later in de behandeling. Dus hoe beter de therapeutische relatie in het begin, des te minder klachten later in de behandeling. De gevonden correlaties in deze studie komen overeen met uitkomsten van meta-analyses (Lambert & Barley, 2001; Wampold, 2015; Norcross, 2011). De voorspelling is het sterkst gebleken wanneer de therapeutische relatie gemeten werd na twee weken (vier sessies). De kwaliteit van de vroege therapeutische relatie blijkt verder ook de kwaliteit van de therapeutische relatie later te voorspellen. Deze studie toont daarentegen ook aan dat de mate van klachten in het begin van de behandeling niet voorspellend is voor de kwaliteit van de vroege therapeutische relatie. Deze bevinding ondersteunt de aanname dat de kwaliteit van de relatie meer bepalend is voor de afname van klachten dan dat klachtenvermindering als zodanig de therapeutische relatie positief beïnvloedt.

Verder werd in deze studie een matig tot sterke relatie gevonden tussen waargenomen therapeutkenmerken enerzijds, waaronder attractiviteit, expertise en betrouwbaarheid, en de kwaliteit van de therapeutische relatie op elk later moment in behandeling anderzijds. Deze correlatie was het sterkst tussen waargenomen therapeutkenmerken (die enkel bij aanvang gemeten zijn) en de kwaliteit van de therapeutische relatie na twee weken therapie (vier sessies).

De uitkomsten pleiten voor het optimaliseren van de therapeutische relatie in het begin van de behandeling. Dit allereerst om meer symptoomreductie te bewerkstelligen. De bevindingen geven een tweede reden voor het advies om de kwaliteit van de therapeutische relatie vroeg gedurende de behandeling te meten. Dit om confounders en ruis van factoren die mogelijk ook invloed hebben op behandeluitkomst – zoals (vroege) symptoomverandering – te voorkomen. Dit advies sluit aan bij bevindingen van Crits-Christoph en anderen (2011) die ook stellen dat de kwaliteit van de therapeutische relatie later in de behandeling (vanaf sessie 10) kan worden beïnvloed door vroege symptoomverandering. Verder kan worden geconcludeerd dat het meerwaarde zou kunnen hebben om aandacht te besteden aan waargenomen therapeutkenmerken bij aanvang om de kwaliteit van de therapeutische relatie mogelijk te vergroten en daarmee uiteindelijk het behandelresultaat.

De kracht van deze studie is allereerst dat het onderzoek in een naturalistische setting werd uitgevoerd. De conclusies zijn daardoor goed generaliseerbaar naar de alledaagse klinische praktijk. Zowel de therapeutische relatie als behandeluitkomsten zijn bij verschillende psychotherapeutische methoden onderzocht. Dit geeft de mogelijkheid en kans om in de toekomst met de grotere steekproef eventuele moderatie-effecten (interactie-effecten) door behandeling te onderzoeken. Zwaktes zijn echter dat de kwaliteit van de therapeutische relatie en de klachtafname enkel gebaseerd zijn op beoordelingen door de patiënt zelf, waarbij de therapeut mogelijk een ander beeld heeft van de kwaliteit van de therapeutische relatie en/of van eventuele klachtenafname bij de patiënt.

Geadviseerd wordt om de kwaliteit van de therapeutische relatie, zoals ervaren door de patiënt, in elk geval na vier behandelsessies in beeld te brengen. Dit advies geeft aanleiding voor de vraag of er ook een afkapscore van de therapeutische relatie te bepalen is. Een dergelijk afkappunt zou door middel van een roc-analyse kunnen worden bepaald, waarbij geldt dat een score onder dit afkappunt voorspellend is voor een significant minder behandelresultaat. Een afkapscore zou richting kunnen geven aan de vraag of de therapeutische relatie productief versus improductief is. Daarbij zou deze afkapscore mogelijk ook voorspellend kunnen zijn voor een toegevoegde waarde van een verandering van therapeut.

Zilcha-Mano (2017) benadrukt het belang van het differentiëren tussen enerzijds algemene tendensen van patiënten om bevredigende relaties met anderen te vormen, waaronder ook met de therapeut (patiëntkenmerken als ‘vaststaand’) en anderzijds het proces van de ontwikkeling van veranderingen van zulke tendensen door de interactie met de therapeut (patiëntkenmerken als ‘situatiegebonden’ en dus ‘veranderbaar’) (Zilcha-Mano, 2017). Mogelijk is verandering in kwaliteit van de therapeutische relatie van groter belang dan de kwaliteit van de therapeutische relatie op één moment.

Een eerste aanbeveling voor verder onderzoek is om op zoek te gaan naar een afkapscore voor de kwaliteit van de therapeutische relatie, waarbij een lagere score voorspellend zou zijn voor een significant minder behandelresultaat. Ten tweede wordt geadviseerd om therapeutkenmerken, zoals waargenomen door de patiënt, bij aanvang van behandeling in kaart te brengen en mee te nemen in analyses. Zodoende kan de invloed van de therapeutische relatie op symptoomverandering beter worden begrepen en ontstaat er zicht op de vraag welke factoren de therapeutische relatie bepalen en hoe die is te beïnvloeden.

Dankwoord

Veel dank gaat uit naar de patiënten, behandelaren, supervisors en betrokken teams en managers van de Dimence Groep, die het onderzoek mogelijk maakten. Veel dank komt toe aan: E. van Ankum, A. Schipper, P. van Pelt, S. Stuiver, C. Janssen, M. Vroegop en E. Derksen, voor het meehelpen in de uitvoering van het onderzoek; aan A. Kaal en E. Scherjon, voor hun ondersteuning en het mogelijk maken van de invoer van de data.

literatuur

American Psychiatric Association, (2000). Diagnostic and statistical manual of mental disorders (4th ed., tekst review). Washington, DC: American Psychiatric Association Press.

Barak, A., & LaCrosse, M. B. (1975). Multidimensional perception of counselor behavior. Journal of Counseling Psychology, 22, 471-476.

Barth, J., Munder, T., Gerger, H., Nüesch, E., Trelle, S., Znoj, H., e.a. (2016). Comparative efficacy of seven psychotherapeutic interventions for patients with depression: A network meta-analysis. Focus, 14, 229-243.

Beck, A.T. (Ed.). (1979). Cognitive therapy of depression. New York: Guilford Press.

Beaton, D.E., Bombardier, C., Guillemin, F., & Ferraz, M.B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25, 3186-3191.

Bockting, C.L.H., Rijsbergen, G.D. van, & Huibers, M.J.H. (2017) Protocollaire behandeling van patiënten met een depressieve stoornis. In G.P.J. Keijsers, A. van Minnen & C.A.L. Hoogduin (Eds.), Protocollaire behandelingen voor volwassenen met psychische klachten, deel 1. Amsterdam: Uitgeverij Boom.

Bordin, E.S. (1979). The generalizability of the psychoanalytic concept of the working alliance. Psychotherapy: Theory, Research & Practice, 16, 252-260.

Clegg, C.W., Jackson, P.R., & Wall, T.D. (1977). The potential of cross‐lagged correlation analysis in field research. Journal of Occupational and Organizational Psychology, 50, 177-196.

Corrigan, J.D., & Schmidt, L.D. (1983). Development and validation of revisions in the Counselor Rating Form. Journal of Counseling Psychology, 30, 64-75.

Crits-Christoph, P., Connolly Gibbons, M.B., Hamilton, J., Ring-Kurtz, S., & Gallop,. R. (2011). The dependability of alliance assessments: The alliance-outcome correlation is larger than you might think. Journal of Consulting and Clinical Psychology, 79, 267-278.

Cuijpers, P., Berking, M., Andersson, G., Quigley, L., Kleiboer, A., & Dobson, K.S. (2013). A meta-analysis of cognitive-behavioral therapy for adult depression, alone and in comparison with other treatments. Canadian Journal of Psychiatry, 58, 376-385.

Cuijpers, P., Karyotaki, E., Weitz, E., Andersson, G., Hollon, S. D., & Straten, A. van (2014). The effects of psychotherapies for major depression in adults on remission, recovery and improvement: A meta-analysis. Journal of affective disorders, 159, 118-126.

Driessen, E., Van, H.L., Schoevers, R.A., Cuijpers, P., Aalst, G. van, Don, F.J., e.a. (2007). Cognitive Behavioral Therapy versus Short Psychodynamic Supportive Psychotherapy in the outpatient treatment of depression: A randomized controlled trial. BMC Psychiatry, 7, 58.

Driessen, E., Van, H.L., Don, F.J., Peen, J., Kool, S., Westra, D., e.a. (2013).The efficacy of cognitive-behavioral therapy and psychodynamic therapy in the outpatient treatment of major depression: A randomized clinical trial. American Journal of Psychiatry, 170, 1041-1050.

Flückiger, C., Del Re, A.C., Wampold, B.E., Symonds, D., & Horvath, A.O. (2012). How central is the alliance in psychotherapy? A multilevel longitudinal meta-analysis. Journal of Counseling Psychology, 59, 10-17.

Hendriksen, M., Peen, J., Van, H.L., Barber, J.P., & Dekker, J.J.M. (2013). Is the alliance always a predictor of change in psychotherapy for depression? Psychotherapy Research, 24, 160‐170.

Hendriksen, M., Van, H.L., Peen,. J. Driessen, E., Bockting, C.L.H., & Dekker, J.J.M. (2014). The temporal relationship between alliance and change in psychodynamic therapy for depression. Submitted for publication.

Horvath, A.O., & Greenberg, L.S. (1989). Development and validation of the Working Alliance Inventory. Journal of Counseling Psychology, 36, 223-233.

Horvath, A.O., Del Re, A.C., Flückiger, C., & Symonds, D. (2011). Alliance in individual psychotherapy. Psychotherapy, 48, 9-16.

Huibers, M. (2015). Voorbij het oordeel van de dodo. Tijdschrift voor Psychotherapie, 41, 174-186.

Huibers, M.J., & Cuijpers, P. (2015). Common (nonspecific) factors in psychotherapy. In: R.L. Cautin & S.O. Lilienfeld (Eds.). The encyclopedia of clinical psychology. New York: Wiley & Sons.

Jonghe, F. de (2014). Kort en krachtig. Kortdurende psychoanalytische steungevende psychotherapie. Amsterdam: Benecke N.I.

Kazdin, A.E. (2007). Mediators and mechanisms of change in psychotherapy research. Annual Review of Clinical Psychology, 3, 1-27.

Kenny, D.A. (1975). Cross-lagged panel correlation: A test for spuriousness. Psychological bulletin, 82, 887-903.

Lambert, M.J., & Barley, D.E. (2001). Research summary on the therapeutic relationship and psychotherapy outcome. Psychotherapy: Theory, Research, Practice, Training, 38, 357-361.

Lewinsohn, P.M., Muñoz, R.F., Youngren, M.A., & Zeiss, A.M. (1986). Control your depression (tweede editie). Englewood Cliffs, NJ: Prentice-Hall.

Linde, K., Kriston, L., Rücker, G., Jamil, S., Schumann, I., Meissner, K., e.a. (2015). Efficacy and acceptability of pharmacological treatments for depressive disorders in primary care: systematic review and network meta-analysis. The Annals of Family Medicine, 13, 69-79.

Norcross, J.C. (Ed.). (2011). Psychotherapy relationships that work: Evidence-based responsiveness (2nd ed.). New York: Oxford University Press.

Rush, A.J., Giles, D.E., Schlesser, M.A., Fulton, C.L.,Weissenburger, J.E., & Burns, C.T. (1986). The Inventory of Depressive Symptomatology (IDS): Preliminary findings. Psychiatry Research, 18, 65-87.

Rush, A.J., Gullion, C.M., Basco, M.R., Jarrett, R.B., & Trivedi, M.H. (1996). The inventory of depressive symptomatology (IDS): psychometric properties. Psychological Medicine, 26, 477-486.

Spijker, J., Bockting, C.L.H., Meeuwissen, J.A.C., Vliet, I.M. van, Emmelkamp, P.M.G., Hermens, M.L.M., e.a. (2013). Multidisciplinaire richtlijn Depressie (Derde revisie): Richtlijn voor de diagnostiek, behandeling en begeleiding van volwassen patiënten met een depressieve stoornis. Utrecht: Trimbos-instituut.

Stinckens, N., Ulburghs, A., & Claes, L. (2009). De werkalliantie als sleutelelement in het therapiegebeuren: Meting met behulp van de WAV-12, de Nederlandstalige verkorte versie van de Working Alliance Inventory. Tijdschrift Klinische Psychologie, 39, 44-60.

Stinckens, N., Smits, D., Rober, P., & Claes, L. (2012). Vinger aan de pols in psychotherapie. Monitoring als therapeutische methodiek. Leuven: Acco.

Tracey, T.J., Glidden, C.E., & Kokotovic, A.M. (1988). Factor structure of the Counselor Rating Form-Short. Journal of Counseling Psychology, 35, 330-335.

Vertommen, H. & Vervaeke, G.A.C. (1990). Werkalliantievragenlijst (WAV) – Verkorte Vorm. Geraadpleegd op 18 december 2015 via http://www.tijdschriftvoorpsychiatrie.nl/assets/measuringinstruments/WAV-12_cli_nt.pdf.

Wampold, B.E. (2015). How important are the common factors in psychotherapy? An update. World Psychiatry, 14, 270-277.

Zilcha-Mano, S. (2017). Is the alliance really therapeutic? Revisiting this question in light of recent methodological advances. American Psychologist, 72, 311-325.