De Helping Alliance Questionnaire (HAQ–II)

Tijdschrift voor Psychotherapie
© Bohn Stafleu van Loghum 1999
10.1007/BF03061895
De Helping Alliance Questionnaire (HAQ–II)
Een vragenlijst om de werkrelatie in psychotherapie te bepalen

R. W. TrijsburgContact Information, A. van 't Spijker, Q. D. van Dam H. J. Duivenvoorden

(1) 

Abstract  
Uit een onderzoek onder psychotherapiepatiënten en hun behandelaars met een Nederlandse vertaling van de Helping Alliance Questionnaire-II (HAQ–II) blijkt de structuur van de HAQ–II bij toepassing van principale componentenanalyse niet overeen te komen met die van de oorspronkelijke Amerikaanse versie. Toepassing van multidimensionale schaaltechnieken levert een ééndimensionale structuur op. De correlatie tussen de patiënt- en de therapeutversie van de HAQ–II is laag. Er is geen samenhang gevonden tussen beide versies en biografische kenmerken van de patiënten. De patiënt- en therapeutversie correleren significant met een aantal behandel- en effectvariabelen. De correlaties zijn echter lager of afwezig als scores van patiënten gecorreleerd worden met die van therapeuten of omgekeerd. Dit wijst op een mogelijke vertekening van de beoordelingen door patiënten en therapeuten, bijvoorbeeld door het halo-effect. Het gebrek aan overeenstemming tussen therapeuten en patiënten in hun beoordeling van de werkrelatie moet nader onderzocht worden.
dr. r.w. trijsburg* is hoogleraar psychotherapie aan de Erasmus Universiteit Rotterdam en bijzonder hoogleraar psychotherapie aan de Universiteit van Amsterdam, tevens verbonden aan het Netherlands Institute for Health Sciences.
drs. a. van 't spijker*, psycholoog, psychotherapeut in opleiding, is werkzaam bij de afdeling Psychiatrie van het AZR Dijkzigt en wetenschappelijk docent bij de afdeling Medische Psychologie en Psychotherapie, Faculteit der Geneeskunde en Gezondheidswetenschappen, Erasmus Universiteit Rotterdam, tevens verbonden aan het Netherlands Institute for Health Sciences.
drs. q.d. van dam, klinisch psycholoog en psychoanalyticus is werkzaam in Psychomedisch Centrum Parnassia, locatie West, in Den Haag.
dr. h.j. duivenvoorden*, psycholoog-methodoloog, is werkzaam bij de afdeling Medische Psychologie en Psychotherapie, Faculteit der Geneeskunde en Gezondheidswetenschappen, Erasmus Universiteit Rotterdam, tevens verbonden aan het Netherlands Institute for Health Sciences.
Correspondentieadres: afdeling Medische Psychologie en Psychotherapie, Faculteit der Geneeskunde en Gezondheidswetenschappen, Erasmus Universiteit Rotterdam, Postbus 1738, 3000 DR Rotterdam.

Inleiding
Het begrip werkrelatie

De overdracht, het werkverbond of working alliance,en de reële relatie zijn de klassieke psychoanalytische invalshoeken voor de beschrijving van de relatie tussen therapeut en patiënt ( Greenson, 1974). Het werkverbond wordt ook wel aangeduid als het therapeutisch verbond, het behandelingsverbond, de rationele overdracht, de volwassen overdracht, de basale overdracht of de realistische band ( Sandler, Dare & Holder, 1992). Deze begrippen verwijzen naar een band die de samenwerking tussen de behandelaar en de patiënt draagt en die min of meer losstaat van de overdracht en van de reële relatie. De kwaliteiten die nodig zijn voor een behandelingsverbond gaan weliswaar terug op ervaringen in vroegere relaties waaronder de vroege moeder-kindrelatie, maar het behandelingsverbond is niet met deze eerdere relaties gelijk te stellen. Het behandelingsverbond staat grotendeels los van de herbeleving van eerdere relaties in de werkrelatie, die aangeduid wordt met het begrip overdracht ( Sandler e.a., 1992).

Anders dan in de klassieke benadering onderscheiden De Jonghe, Rijnierse en Janssen (1991) de overdrachtsrelatie, de werkrelatie, de realistische relatie en de primaire relatie. De werkrelatie wordt in de ontwikkeling geplaatst na de oedipaliteit en geeft de verbondenheid met de ander als volwassen object aan. De ander is daarbij een op zichzelf staand persoon. De relatie wordt als een reële en realistische gezien, maar niet als een uitsluitend rationele. Deze relatie komt volgens De Jonghe en anderen overeen met Luborsky's type II helping alliance. De reële relatie is eveneens een volwassen objectrelatie, maar gaat over aspecten van de relatie die buiten het kader van de werkrelatie vallen. De primaire relatie weerspiegelt de narcistische band met het object. Anders dan bij de overdrachtsrelatie, de werkrelatie en de reële relatie, weerspiegelt deze de vroege moeder-kindrelatie waarin nog geen onderscheid bestaat tussen het ik en de ander. Deze relatie komt overeen met Luborsky's type I helping alliance ( De Jonghe e.a., 1991).

Luborsky's type I helping alliance heeft betrekking op de beleving dat de therapeut de patiënt steunt en helpt, waarbij de patiënt de ontvanger is van de hulp. Type II is gebaseerd op de beleving van gemeenschappelijke samenwerking: samen werken aan wat de patiënt belemmert, gezamenlijke verantwoordelijkheid en een wij-gevoel ( Luborsky, 1976, 1984). Aangezien het onderzoek dat hierna beschreven wordt, betrekking heeft op Luborsky's definitie van de helpende relatie, is het van belang erop te wijzen dat zowel de werkrelatie als de primaire relatie conform De Jonghe en anderen (1991) hierin zijn vertegenwoordigd. Bij zijn formulering van de typen I en II helpende relatie lijkt Luborsky uit te gaan van de min of meer bewuste beleving van de patiënt van wat helpt in psychotherapie, terwijl De Jonghe en anderen het accent lijken te leggen op verschillen in de theoretische achtergrond van deze typen.

Vooral onder de invloed van het werk van Frank (1973) en Bordin (1979) is inmiddels een pantheoretische visie ontstaan op de werkrelatie, waarbinnen de meer rationele aspecten hun plaats vinden ( Horvath, Gaston & Luborsky, 1993). Deze visie omvat alle op verandering gerichte relaties. In deze visie kenmerkt de werkrelatie zich door overeenstemming tussen de therapeut en de patiënt over de doelen en de taken in de psychotherapie en door de aanwezigheid van een persoonlijke band ( Bordin, 1979; Gelso & Carter, 1985; Vervaeke & Vertommen, 1993). De definitie is van grote invloed geweest op de ontwikkeling van instrumenten om de werkrelatie te meten en op het onderzoek naar de invloed van de werkrelatie op het therapeutisch proces en het effect van psychotherapie ( Horvath en anderen, 1993; Vervaeke & Vertommen, 1993).

Uit het voorgaande komt naar voren dat de termen die voor de werkrelatie gebruikt worden, al naar gelang hun theoretische achtergrond van elkaar verschillen. De vraag of het hierbij om wezenlijke verschillen gaat, komt in dit artikel niet aan de orde. Voor de eenduidigheid wordt in dit artikel de term werkrelatie als een algemene term gebruikt, zonder dat dit een keuze impliceert voor een van de beschreven invalshoeken.


Onderzoek

Uit onderzoek blijkt dat de werkrelatie het therapie-effect kan voorspellen. Horvath en Symonds (1991) tonen met een meta-analyse aan dat de gemiddelde effectgrootte, geschat met behulp van de correlatie tussen werkrelatie en therapie-effect, r=0,26 bedraagt.. Dit is een conservatieve schatting, omdat alle niet-significante bevindingen uit de studies waarop de meta-analyse is gebaseerd, gelijk worden gesteld aan nul.

Het verband tussen werkrelatie en therapie-effect geldt voor verschillende vormen van psychotherapie, zoals gedragstherapie, cognitieve therapie, gestalttherapie en psychodynamische psychotherapie ( Horvath en anderen, 1993). Ook is gevonden dat de werkrelatie verandering op individueel geformuleerde behandeldoelen beter voorspelt dan verandering op een gestandaardiseerde test, bijvoorbeeld de SCL-90 ( Horvath en anderen, 1993).

Eveneens blijkt de voorspelling van het therapie-effect onafhankelijk te zijn van de beoordelaar, bijvoorbeeld wanneer de werkrelatie beoordeeld wordt door patiënten en de outcome door therapeuten ( Vervaeke & Vertommen, 1993). Tenslotte blijkt de werkrelatie niet samen te hangen met het aantal behandelzittingen, maar wel met de fase waarin de therapie zich bevindt ( Horvath & Symonds, 1991). Meting van de werkrelatie in het begin van de behandeling levert een betere voorspelling van het eindresultaat op dan meting in de middenfase of als het gemiddelde over de gehele behandeling wordt aangehouden. Dit kan het gevolg zijn van later in de behandeling optredende schommelingen in de werkrelatie die samenhangen met de aard van het therapeutische werk ( Vervaeke & Vertommen, 1993).

Meetinstrumenten

In verband met de onderlinge vergelijkbaarheid van onderzoeksresultaten is het van belang psychometrisch beproefde meetinstrumenten te gebruiken ( Vervaeke & Vertommen, 1993). Voor het Nederlandse taalgebied zijn momenteel vier instrumenten beschikbaar, namelijk de Relationship Inventory (RI, Lietaer, 1976), de Therapist Client Rating Scale (TCRS, Blaauw & Emmelkamp, 1991; De Beurs & Lange, 1990; De Beurs, Lange, Greven & Hylkema, 1990), de Helping Alliance Questionnaire (HAQ, De Ruiter, Garssen, Rijken & Kraaimaat, 1989) en de Werkalliantievragenlijst (WAV, Vertommen & Vervaeke, 1990; Vervaeke & Vertommen, 1993, 1996).

De RI heeft als bezwaar dat de lijst lang is en sterk gebonden is aan de theorie van de cliëntgerichte psychotherapie. De TCRS is op zijn beurt op de gedragstherapeutische behandelvisie geënt. De Ruiter en anderen (1989) maken gebruik van de HAQ ( Luborsky, McLellan, Woody, O'Brien & Auerbach, 1985). De HAQ is geïnspireerd op de genoemde pantheoretische opvatting van Bordin ( Luborsky, Barber, Siqueland, Johnson, Najavits, Frank & Daley, 1996) en bestaat uit twee a priori factoren die de bovengenoemde typen I en II therapeutische alliantie weerspiegelen. Vanwege de hoge correlatie tussen beide factoren wordt meestal de somscore gebruikt ( De Ruiter e.a., 1989; Bassler, Potratz & Krauthauser, 1995). Hierdoor kan de HAQ als een generiek instrument worden beschouwd. Bezwaren van de HAQ zijn dat deze uitsluitend positief geformuleerde items bevat, terwijl sommige items symptoomverbetering meten ( Luborsky e.a., 1996). Door het laatste ontstaat ongewenste overlap tussen de werkrelatie en het behandeleffect.

Ook de WAV is gebaseerd op de definitie van de werkrelatie van Bordin (1979). De WAV behelst de drie relevante aspecten van de doel- en de taakovereenstemming en de therapeutische band. De WAV telt 36 items die 3 schalen vormen (band-, taak- en doelenschaal). De somscore van alle items samen is een maat voor de werkalliantie. De WAV is beschikbaar in een patiënt-, een therapeut- en een observatorversie. Uit onderzoek met de vertaalde versie blijkt dat de drie schalen aanzienlijk met elkaar correleren; de correlaties hebben een range van 0,69 tot 0,92 ( Vervaeke & Vertommen, 1993). Bij factoranalytisch onderzoek blijken de items die taken en doelen meten, op te gaan in een gemeenschappelijke factor, die het contract wordt genoemd. Daarnaast is sprake van een algemene, onderliggende tweede-ordefactor, de werkalliantie. De auteurs pleiten ervoor de schalen te onderscheiden voor meer gedifferentieerde voorspellingen, afhankelijk van de specifieke hypothese die in een onderzoek wordt getoetst ( Vervaeke & Vertommen, 1996). Daarnaast is het ook mogelijk de WAV te gebruiken als een generiek instrument door een somscore te berekenen.

De Helping Alliance Questionnaire-II

Op grond van de bovengenoemde bezwaren tegen de HAQhebben Luborsky en anderen (1996) een tweede versie van deze vragenlijst, de HAQ–II, ontwikkeld. De lijst is uitgebreid van 11 naar 19 items. Items die symptoomverandering meten zijn verwijderd en 14 positief geformuleerde items worden afgewisseld met 5 negatief geformuleerde items. De HAQ–II is een zelfinvulvragenlijst met een patiënt- en een therapeutversie. De lijst kan zonder bezwaar toegepast worden bij allerlei vormen van psychotherapie. De reden om de HAQ–II te vertalen en de kwaliteiten ervan te onderzoeken is dat deze vragenlijst ontworpen is als een generiek instrument dat relatief weinig items kent. Hieronder wordt verslag gedaan van een onderzoek met een vertaalde versie van de HAQ–II. De vraagstellingen van dit onderzoek zijn: wat is de structuur van de HAQ–II; wat zijn de psychometrische kwaliteiten; en in hoeverre hangen patiënt- en therapeutscores op de HAQ–II samen met behandel- en effectvariabelen?


Methode
Patiënten

Volwassen patiënten die in de periode juni-juli 1995 aangemeld werden voor onderzoek of behandeling bij de afdeling psychotherapie van de riagg Westhage Den Haag werd gevraagd om aan een onderzoek mee te werken naar de kosteneffectiviteit van de behandelingen in de afdeling psychotherapie. In dit kader werd hun gevraagd op verschillende momenten in de loop van de behandeling een aantal vragenlijsten in te vullen, waaronder de HAQ–II. Ook de therapeuten vulden diverse vragenlijsten in, waaronder de HAQ–II. In het onderzoek gold als exclusiecriterium een onvoldoende beheersing van de Nederlandse taal. De instroom stopte bij 120 patiënten.

Meetinstrumenten

De Nederlandse versie van de HAQ–II is tot stand gekomen via een procedure, waarbij de Engelse versie door een van de onderzoekers (Trijsburg) werd vertaald. Daarna werd de vertaling terugvertaald in het Engels door een vertaler die geen voorkennis had van de oorspronkelijke HAQ–II. Dit proces werd herhaald tot een zo goed mogelijk bij het Engels aansluitende Nederlandse versie tot stand was gekomen. De therapeutversie is ontleend aan de patiëntversie. De items worden gescoord door het aankruisen van een cijfer, behorende bij een van de volgende antwoordmogelijkheden: 1. erg mee oneens; 2. mee oneens; 3. een beetje mee oneens; 4. een beetje mee eens; 5. mee eens; 6. erg mee eens. Om de scorerichting van negatief geformuleerde items gelijk te maken aan die van de positief geformuleerde items worden de scores gespiegeld.

Voor het meten van psychopathologie werden gebruikt de General Health Questionnaire (ghq-12; Koeter & Ormel, 1991) en de Symptom Checklist (SCL-90, Nederlandse vertaling Arrindell & Ettema, 1986). De GHQ-12 is een screeningsinstrument voor niet-psychotische psychopathologie. De 12 items pretenderen het onvermogen om normaal te functioneren en ongewone psychische belevingen te meten. De totaalscore kan worden opgevat als een maat voor psychisch onwelbevinden. De gemiddelde betrouwbaarheid (Cronbachs a) van de GHQ-12 over verschillende steekproeven bedraagt 0,90.

De Nederlandse bewerking van de SCL-90 bestaat uit 8 subschalen, namelijk agorafobie (7 items), angst (10 items), depressie (16 items), somatische klachten (12 items), insufficiëntie van denken en handelen (9 items), wantrouwen en interpersoonlijke sensitiviteit (18 items), hostiliteit (6 items) en slaapproblemen (3 items). De somscore over alle 90 items drukt het psychoneurotisch-somatisch onwelbevinden uit (psychoneuroticisme).

Als maat voor de kwaliteit van leven wordt de Nottingham Health Profile gebruikt (NHP, Nederlandse vertaling Erdman, Passchier, Kooijman & Stronks, 1993). Het eerste deel van deze vragenlijst bestaat uit 38 uitspraken over gezondheidsproblemen. Dit deel meet problemen met fysieke mobiliteit, pijn, slaap, energie, sociale isolatie en emotionele reacties. Met de zeven vragen in het tweede deel wordt nagegaan op welke dagelijkse bezigheden de gezondheidsproblemen van invloed zijn. Bij de invulling wordt beoordeeld of een uitspraak van toepassing is op de huidige situatie. De interne consistentie (Cronbachs a) van de schalen loopt van a=0,70 tot a=0,85. De test-hertest betrouwbaarheid ligt tussen de 0,69 en 0,92.

Na een half jaar of zoveel eerder als de behandeling eindigt, vullen de patiënten en de therapeuten ieder een vragenlijst in over de behandeling. In de vragenlijst voor de patiënt wordt gevraagd aan te geven in welke mate verandering heeft plaatsgevonden. Zij doen dit door aan te geven: verslechterd; geen verandering; enige verbetering; goede verbetering; of genezen. Als de behandeling is afgesloten wordt er verder gevraagd aan te geven wie daartoe het initiatief heeft genomen, of er over beëindiging overleg plaatsvond met de therapeut, en of het besluit de instemming had van de patiënt, respectievelijk van de therapeut. De behandeling wordt als in consensus afgesloten beschouwd als de drie vragen naar het overleg en de instemming van patiënt en therapeut met ja worden beantwoord.

De vragenlijst voor therapeuten heeft betrekking op een viertal aspecten van de behandeling. Eerst wordt gevraagd naar de doelstellingen van de behandeling. Deze zijn vervat in 14 items over bijvoorbeeld inzicht in het ontstaan en de functie van klachten en symptomen; gedragsverandering; of over het bevorderen van zelfstandigheid. Therapeuten kunnen aangeven wat van toepassing is door het omcirkelen van de volgende antwoordmogelijkheden: ja!; ja; ?; nee; of nee! De gehercodeerde scores lopen van 1 (zeker niet aan de orde) tot 5 (zeker wel aan de orde). Op basis van Principale Componenten Analyse voor metrische data (PCA, varimaxrotatie, 62% verklaarde variantie) zijn deze doelstellingen ondergebracht in een klachtgerichte doelenschaal van 4 items, en in een inzichtgerichte doelenschaal van eveneens 4 items. De interne consistentie (Cronbachs a) van de schalen is redelijk (klachtgerichte doelenschaal a=0,77; inzichtgerichte doelenschaal a=0,72).

Volgende punt op de vragenlijst voor therapeuten is de behandelmethodiek. Om de behandeling te typeren kunnen zij voor 80 trefwoorden aangeven in hoeverre deze zijn toegepast in de behandeling. De items hebben ook hier de antwoordmogelijkheden: ja!; ja; ?; nee; en nee!. De gehercodeerde scores lopen van 1 (zeker niet toegepast) tot 5 (zeker wel toegepast). Op basis van homogeniteitsanalyse (HOMALS) zijn de werkwijzen ondergebracht in een klachtgerichte methodiekschaal van 7 items en een persoonsgerichte methodiekschaal van 8 items. De klachtgerichte methodiekschaal bestaat uit de items: adviezen, assertiviteitstraining, directieve therapie, gedragstherapeutisch, klachtgericht, kortdurend en gelimiteerd aantal zittingen. De persoonsgerichte methodiekschaal bestaat uit de items confronteren, duiden, exploreren, inzichtgevend, non-directief, persoonsgericht, procesgerichte interventies en vaste frequentie van zittingen. De interne consistentie (Cronbachs a) van de schalen is goed (klachtgerichte methodiekschaal a=0,83; persoonsgerichte methodiekschaal a=0,86).

Dan komt de typering van de behandeling als overwegend psychiatrisch dan wel psychotherapeutisch aan de orde. De therapeuten geven dit aan door een kruisje op een Visual Analogue Scale (VAS), met aan het linkeruiteinde het adjectief psychiatrisch en aan het rechteruiteinde het adjectief psychotherapeutisch. De score op de VAS wordt bepaald door de kruisjes op de VAS om te zetten in een negenpuntsschaal, waarbij 1 staat voor een vooral psychiatrische en 9 voor een vooral psychotherapeutische behandeling.

Als laatste wordt de mate bevraagd waarin doelstellingen van de behandeling zijn bereikt. Aan het einde van de vragenlijst worden de bovengenoemde 14 doelstellingen herhaald met als vraag in hoeverre deze naar het oordeel van de therapeut tot nu toe zijn gerealiseerd. Antwoordmogelijkheden zijn hier weer: ja!; ja; ?; nee; nee!. Deze mogelijkheden worden gehercodeerd van 1 (doelstelling zeker niet behaald) tot 5 (zeker wel behaald). Op basis van PCA voor metrische data (varimaxrotatie, 64% verklaarde variantie) worden deze doelstellingen ondergebracht in een schaal klachten en symptomen van 4 items en een inzichtschaal van 3 items. Op basis hiervan worden scores berekend voor de mate waarin klachtgerichte en inzichtgerichte doelstellingen zijn gerealiseerd. De interne consistentie (Cronbachs a) van de schalen is redelijk (klachtgerichte schaal a=0,70) tot goed (inzichtgerichte schaal a=0,84).

Procedure

Voorafgaand aan de behandeling vult de patiënt de GHQ-12, SCL-90 en NHP in. Een halfjaar na beëindiging van de instroom of zoveel eerder als de behandeling wordt afgesloten, vullen de therapeuten de bovenbeschreven vragenlijst voor behandelaars en de HAQ–II in. Op hetzelfde moment vullen de patiënten de bovenbeschreven vragenlijst voor de patiënten in, evenals de GHQ-12, de NHP, de SCL-90 en de HAQ–II. Aangezien de metingen in dit onderzoek plaatsvinden in een klinische setting is er sprake van een variabel therapieaanbod en van een variërend aantal therapiesessies. Een aantal patiënten ontvangt de tweede meting op het moment dat de therapie is afgerond. Voor een deel van de overblijvende patiënten is de resterende duur van de behandeling bekend, terwijl de overigen voor een nog onbekende tijdsduur in behandeling zijn. Hierdoor ontstaat de mogelijkheid een vergelijking te maken tussen groepen patiënten in verschillende fasen van de behandeling.

Statistische analyse

Descriptieve gegevens over de onderzoeksgroep en de gebruikte vragenlijsten worden met gemiddelden en percentages weergegeven. Verder wordt gebruik gemaakt van (partiële) correlaties en t-tests. Partiële correlaties worden toegepast bij vergelijkingen waarbij het stadium waarin de behandeling verkeert, van belang is. Daarnaast worden partiële correlaties gebruikt voor de predictie van het therapie-effect om te controleren voor de invloed van het niveau van de voormeting. De aantallen patiënten worden bij de beschrijving van de onderzoeksgroep en bij de analyses apart weergegeven, vanwege uitval van patiënten en omdat niet alle vragenlijsten (volledig) zijn ingevuld.


Resultaten
Patiënten
Van de 120 patiënten die zich in RIAGG Westhage voor behandeling melden in de looptijd van de studie komen uiteindelijk 98 patiënten in de onderzoeksgroep en daarvan worden 58 patiënten in psychotherapeutische behandeling genomen. De leeftijd van de groep patiënten die in behandeling komen is gemiddeld 35,6 jaar (tabel 1).
Tabel 1. Gegevens over de steekproef (grootte, gemiddelden, sd, minima en maxima).

Variabele

n

gem.

sd

min.

max.

Leeftijd

54

35,6

10,3

21

??60

VAS-schaal (psychiatrisch-psychotherapeutisch)

47

?6,4

?2,0

1

??9

Behandelduur (zittingen)

51

?7,2

?4,4

1

18

HAQ-score (patiënten)

46

85,7

12,5

48

105

 

Mannen

11

83,6

11,0

66

??96

 

Vrouwen

35

86,3

13,0

48

105

HAQ-score (therapeuten)

50

82,5

10,7

54

102

 

Mannen (patiënten)

15

85,0

11,4

54

??97

 

Vrouwen (patiënten)

35

81,4

10,4

56

102

De verhouding mannen-vrouwen is ongeveer 1:3 (tabel 2). Er zijn geen verschillen in leeftijd en sekseverdeling tussen de groepen die al dan niet in behandeling komen. De bij de tweede meting (n=51) geverifieerde diagnoses (DSM-IV-classificaties) geven aan dat vooral sprake is van stemmings- en angststoornissen, en van problemen die nadere aandacht behoeven (V-codes). Enkele patiënten hebben een As-II stoornis (tabel 2).
Tabel 2. Gegevens over de steekproef en de behandeling (aantallen en percentages).

Variabele

n

%

 

Man

15

28

Vrouw

39

72

 

Geverifieerde diagnose (As-I, DSM-IV)

     
 

Stemmingsstoornis

19

371

 
 

Angststoornis

15

29

 
 

Andere As-I stoornis

14

27

 
 

V-codes, geen As-I stoornis

20

39

 

Geverifieerde diagnose (As-II, DSM-IV)

     
 

Cluster B

3

?61

 
 

Cluster C

7

14

 
 

NAO

4

?8

 

Verandering na een half jaar (patiëntoordeel / therapeutoordeel)

     
 

Verslechterd/onveranderd

12/11

26/22

 
 

Enige verbetering

19/24

41/49

 
 

Goede verbetering/genezen

15/14

33/29

 

Fase van behandeling

     
 

Begin/middenfase

21

40

 
 

Eindfase

?9

17

 
 

Beëindigd

22

42

 
1Deze percentages zijn gebaseerd op de gegevens van 51 patiënten. Omdat meerdere diagnoses gegeven konden worden op As-I is de som van de percentages groter dan 100. Op As-II werd niet meer dan één diagnose gegeven.
Gegevens over de behandeling

De gemiddelde behandelduur van de onderzoeksgroep is iets meer dan 7 zittingen (tabel 1). De behandeling is in 42 gevallen individueel, in een enkel geval gecombineerd met groeps- of partnerrelatietherapie. Twee patiënten ontvangen groepstherapie en 11 patiënten een partnerrelatietherapie, eventueel gecombineerd met individuele therapie.

De psychotherapeuten karakteriseren de behandelingen overwegend als psychotherapeutisch (VAS-schaal; tabel 1). Eén patiënt krijgt een sedativum voorgeschreven en vier patiënten een antidepressivum. Neuroleptica en lithium worden niet voorgeschreven.

Bij de tweede meting na een half jaar geeft een kwart van de patiënten aan verslechterd of onveranderd te zijn, de overigen rapporteren minimaal enige verbetering (tabel 2). Het oordeel van patiënten en therapeuten correleert positief (n=42; r=0,57; p<0,001, tweezijdige toetsing) en er is sprake van een substantiële overeenstemming tussen patiënten en therapeuten in hun beoordeling van verandering (n=51; ?2 =41,4; df=25; p<0,05, tweezijdige toetsing).

Ten tijde van de meting na een half jaar zijn 22 therapieën beëindigd, 9 zijn in de eindfase, waarvan de resterende behandelduur bekend is, en 21 in de begin- of middenfase, met een nog onbekende resterende behandelduur (tabel 2). Bij verdere analyses wordt gecontroleerd voor de invloed van de fase waarin een behandeling verkeert.

Zes patiënten en vijf therapeuten zijn van oordeel dat de therapie in consensus is beëindigd. In twee gevallen stemt het consensusoordeel van patiënt en therapeut overeen.


Resultaten HAQ–II
De structuur van de HAQ–II

De patiëntversie van de HAQ–II is in totaal door 58 patiënten ingevuld en de therapeutversie door 50 therapeuten. De invulling van de 19 items van de HAQ–II is niet altijd volledig. 46 patiënten vullen 16 of meer items in, en 12 vullen er 14 in. De therapeutversie is in 5 gevallen onvolledig ingevuld (16 of 18 items). Bij de patiëntversie zijn er van de laatste 9 items van de vragenlijst meer niet ingevuld dan van de eerste 9. Het niet-invullen beperkt zich uitsluitend tot negatief geformuleerde items. Bij de therapeutversie is het niet-invullen niet beperkt tot negatief geformuleerde items.

Conform de werkwijze van Luborsky en anderen (1996) wordt de structuur van de HAQ–II bepaald met behulp van PCA (varimaxrotatie). Deze levert voor de patiëntversie een vierdimensionale structuur op (70% verklaarde variantie) en voor de therapeutversie een vijfdimensionale structuur (73% verklaarde variantie). De verdeling van items over de verschillende componenten is voor beide versies van de HAQ–II ongelijk en moeilijk te interpreteren. Anders dan in het onderzoek van Luborsky en anderen (1996) vormen de negatief geformuleerde items in beide versies geen aparte component. Om deze redenen wordt gebruik gemaakt van een andere multivariate methode, namelijk die van de multidimensionale schaaltechnieken (MDS), waarbij wordt uitgegaan van een ordinaal niveau van de data. Als maat voor ongelijkheid van de items werd de euclidische afstandsmaat gebruikt voor gestandaardiseerde variabelen, waarbij de spreiding homogeen werd gemaakt. Als maat voor de adequaatheid van de oplossing wordt gebruik gemaakt van s-stress ( Takane, Young & De Leeuw 1977). Deze maat kan variëren tussen 0,0 en 1,0: hoe lager de waarde is, hoe beter de statistische aanpassing. Daarnaast wordt de gekwadrateerde correlatiecoëfficiënt gepresenteerd tussen enerzijds de afstanden ontleend aan de meerdimensionale oplossing en anderzijds de ongelijkheden ontleend aan de datamatrix. Hoe meer 1,0 wordt benaderd, hoe beter de oplossing is.

Uit de bevindingen van MDS blijkt dat de rangordening van de items van zowel de patiënt- als de therapeutversie ééndimensionaal gerepresenteerd kan worden. De mate waarin de ééndimensionale oplossing de afstanden tussen de data weerspiegelt (s-stress), bedraagt 0,03 voor de patiëntversie en 0,07 voor de therapeutversie van de HAQ–II. Dit duidt op een adequate representatie van de data in de ééndimensionale oplossing. Ook de gekwadrateerde correlatiecoëfficiënt is goed te noemen (patiëntversie r2=0,99; therapeutversie r2=0,97). De betrouwbaarheid van de HAQ–II is hoog, zowel voor de patiënt- als voor de therapeutversie (Cronbachs a=0,91). Hierna wordt verder gebruikt gemaakt van de somscore van de HAQ–II, zowel voor de patiënt- als voor de therapeutversie. Beide scores worden geacht de werkrelatie weer te geven, zoals deze beoordeeld wordt door de betrokkene. Hoe hoger de score is, hoe beter de werkrelatie geacht wordt te zijn. Het theoretische scorebereik loopt van 19 tot 114.

De gemiddelde score op de HAQ–II is zowel voor patiënten als therapeuten hoog te noemen (tabel 1). De gemiddelden verschillen niet van elkaar (t-test voor gepaarde vergelijkingen, tweezijdige toetsing). De correlatie tussen de patiënt- en de therapeutversie van de HAQ–II bedraagt r=0,19 (tweezijdige toetsing; n=42; NS).

HAQ–II en patiëntkenmerken
Gemiddelde scores op de HAQ–II voor mannen en vrouwen zijn in tabel 1 weergegeven. Er zijn geen sekseverschillen gevonden voor beide versies (tweezijdige toetsing; tabel 1). De scores op de beide versies van de HAQ–II correleren niet met de leeftijd van de patiënt. De HAQ-scores van de patiënt- en therapeutversie correleren niet met het aantal gestelde diagnoses (geverifieerde DSM-IV-classificatie, As-I, As-II, tweezijdige toetsing), en ook niet met de beoordeling van het algemene functioneren bij de tweede meting (GAF-schaal, As-V, DSM-IV, partiële correlatie, gecontroleerd voor behandelfase, eenzijdige toetsing; tabel 3).
Tabel 3. Partiële Pearson Product-Moment correlaties tussen de HAQ–II (patiënt- en therapeutversie), behandelvariabelen en effectvariabelen, gecontroleerd voor de invloed van de behandelfase.
 

Toetsing

HAQ–II (patiënt)

HAQ–II (therapeut)

 

1 – 2

n

r

n

r

Variabelen

zijdig

       

GAF-schaal (As-V, DSM-IV)

1

38

-0,10

44

0,11

N behandelzittingen

1

39

0,19

39

0,23

Doelstellingen

Klachtgericht

2

40

-0,25

47

0,36**

Inzichtgericht

2

40

-0,46**

47

0,06

Werkwijze

Klachtgericht

2

40

0,12

47

0,29*

Persoonsgericht

2

39

-0,18

46

0,13

Nameting (gecontroleerd voor voormeting)

GHQ-totaalscore

1

34

-0,01

35

0,00

SCL-90

 

sensitiviteit

1

38

-0,30*

40

0,01

 

hostiliteit

1

38

-0,40**

40

0,04

 

totaalscore

1

38

-0,22

40

0,01

NHP

 

energie

1

36

-0,12

37

-0,29*

 

sociale isolatie

1

36

-0,31*

37

-0,17

Mate van verandering (oordeel)

Patiënten

1

40

0,32*

47

0,38**

Therapeuten

1

40

0,20

47

0,24*

Behaalde doelen

Klachtgericht

1

39

0,16

47

0,60***

Inzichtgericht

1

39

0,18

47

0,58***

* p?<?0,05; ** p?<?0,01; *** p?<?0,001.
HAQ–II en behandelvariabelen

Over aantal behandelzittingen en fase van behandeling kan het volgende worden gemeld. De patiënt- en de therapeutversie van de HAQ–II correleren positief met het aantal behandelzittingen op het moment van invullen van de HAQ–II(patiëntversie: n=43; r=0,38; p?<?0,01; therapeutversie: n=50; r=0,31; p?<?0,05, eenzijdige toetsing). De HAQ-scores van de patiënten van wie de behandeling is beëindigd, zijn lager dan die van degenen voor wie dit niet geldt (n=16; gem.=77,1; sd=15,4; respectievelijk n=27; gem.=90,2; sd=7,7; p?<?0,001; eenzijdige toetsing). Dit verschil geldt niet voor de therapeutversie van de HAQ–II. Het al dan niet in consensus beëindigen van de behandeling is niet van invloed op de HAQ–II-scores. Wanneer gecontroleerd wordt voor de invloed van de behandelfase, is de correlatie tussen het aantal behandelzittingen en de HAQ–II (patiënt- en therapeutversie) laag en niet significant (eenzijdige toetsing; tabel 3). Hieruit blijkt dat de werkrelatie mede afhankelijk is van het stadium waarin de therapie verkeert. Dit is in overeenstemming met resultaten van eerder onderzoek. Indien relevant, wordt op grond hiervan hierna rekening gehouden met het stadium van behandeling zoals beoordeeld door de therapeut.

Wat betreft de doelstellingen van de behandeling blijkt de patiëntversie van de HAQ–II negatief te correleren met de mate waarin therapeuten klachtgerichte doelen nastreven en significant negatief met inzichtgerichte doelen (tweezijdige toetsing, gecontroleerd voor behandelfase; tabel 3). De therapeutversie van de HAQ–IIcorreleert significant positief met klachtgerichte doelen, maar niet met inzichtgerichte doelen (tweezijdige toetsing, gecontroleerd voor behandelfase; tabel 3).

Voor behandelmethodiek blijkt de HAQ–II van de patiënten niet te correleren met de scores op de methodiekschalen (tweezijdige toetsing, gecontroleerd voor behandelfase; tabel 3). De HAQ–II van de therapeuten correleert significant positief met de klachtgerichte methodiekschaal en niet met de persoonsgerichte (tweezijdige toetsing, gecontroleerd voor behandelfase; tabel 3). Dit betekent dat de relatie hoger wordt beoordeeld door de therapeut naarmate deze meer klachtgericht werkt.

Voor de overige therapievariabelen geldt dat de mate waarin therapeuten een behandeling als meer psychotherapeutisch dan psychiatrisch typeren niet samenhangt met de HAQ–II-score van de patiënten (n?=?39; r?=?-0,01), maar wel met die van de therapeuten (n?=?47; r?=?0,38; p?<?0,01). De setting, met name individuele versus groeps- of echtpaarrelatietherapie, en het aantal malen dat de patiënt niet op de afspraak is gekomen, hangen niet samen met de HAQ–II-score voor zowel patiënt- als de therapeutversie.

De HAQ–II en effectvariabelen

Bij de voormeting werden er geen significante correlaties gevonden tussen de scores op de patiënt- en therapeutversies van de HAQ–II en de scores op de maten voor psychopathologie (GHQ-12, SCL-90) en kwaliteit van leven (NHP), met uitzondering van een positieve correlatie tussen de therapeutversie en de scores op de SCL-90-schaal agorafobie (n=50; r=0,25; p?<?0,05) en de NHP-schaal slaapproblemen (n=48; r=-0,28; p?<?0,05; tweezijdige toetsing).

Bij het berekenen van correlaties tussen de HAQ–II en psychopathologie en kwaliteit van leven na een half jaar, wordt gecontroleerd voor de invloed van de behandelfase en het niveau van de scores bij de voormeting. De scores op de patiëntversie van de HAQ–II correleren significant negatief met de SCL-90-schalen sensitiviteit en hostiliteit en met de NHP-schaal sociale isolatie (eenzijdige toetsing; tabel 3). Er is een trendmatige negatieve samenhang met de totaalscore op de SCL-90 (p?<?0,08; eenzijdige toetsing; tabel 3). Voor de therapeutversie worden geen significante correlaties gevonden, met uitzondering van een negatieve correlatie tussen de HAQ–II en de NHP-schaal energie (eenzijdige toetsing; tabel 3).

De HAQ–II-score van de patiënten correleert positief met het oordeel van de patiënten over de mate van verandering in therapie, maar niet met het oordeel van de therapeuten. De HAQ–II-scores van de therapeuten correleren positief met beide oordelen (eenzijdige toetsing, gecontroleerd voor behandelfase; tabel 3). De therapeutversie van de HAQ–II correleert positief met de mate waarin zowel klachtgerichte als inzichtgerichte doelstellingen zijn behaald (eenzijdige toetsing, gecontroleerd voor behandelfase; tabel 3). De patiëntversie van de HAQ–II correleert met geen van beide schalen (tabel 3).


Discussie
Structuur en betrouwbaarheid van de HAQ–II

De structuur van de HAQ–II kan worden geïnterpreteerd als ééndimensionaal. Mede door de hoge betrouwbaarheid en de mogelijkheid alle items te gebruiken voor de scoring kan de HAQ–II dienen als een generiek instrument om de werkrelatie in psychotherapie te meten. Anders dan Luborsky en anderen (1996) aangeven, correspondeert de structuur van de HAQ niet met Bordins schalen en ook niet met Luborsky's eigen a priori indeling van de werkrelatie in de typen I (helpende relatie) en II (samenwerkingsrelatie). Hiermee lijkt ook voor het door De Jonghe en anderen (1991) gemaakte onderscheid tussen de primaire relatie en de werkrelatie geen ondersteuning gevonden te kunnen worden.

De bevinding dat de patiënt- en de therapeutscore op de HAQ–II in geringe mate samenhangen, suggereert dat de beoordelingsperspectieven van de therapeuten en de patiënten sterk van elkaar verschillen. De betekenis van deze bevinding is vooralsnog onduidelijk. Ook de oorspronkelijke literatuur besteedt geen aandacht aan de (geringe) samenhang tussen patiënt- en therapeutversie ( Luborsky en anderen, 1985 en 1996).

Vertaling

Bij de vertaling is gestreefd naar een equivalente versie van de oorspronkelijke vragenlijst, zowel naar inhoud als naar vormgeving. Hiermee is niet gezegd dat de vertaalde HAQ–II een volledig aanvaardbare of prettige vragenlijst is. Zo is opgevallen dat een aantal patiënten de vragenlijst niet geheel hebben ingevuld en dit kan betekenen dat zij de vragenlijst moeilijk of vervelend vinden. Ook zijn van diverse gebruikers bezwaren bekend tegen sommige items, zowel tegen de formulering als tegen de inhoud. Sommige therapeuten vinden het volstrekt irrelevant of de therapeut en de patiënt gesteld zijn op elkaar «als mens» (item 18). Dit is soms een reden om dit item niet in te vullen. Hoewel de resultaten van het onderzoek de indruk wekken dat de Nederlandstalige vorm van de HAQ–II bruikbaar is, moet een meer aan het Nederlandse idioom aangepaste versie ontwikkeld worden. Deze nieuwe versie moet in vervolgonderzoek vergeleken worden met de nu gebruikte vertaling.

Samenhang tussen de HAQ–II en behandel- en effectvariabelen

Uit het onderzoek blijkt in de eerste plaats dat de werkrelatie samenhangt met de fase waarin de behandeling verkeert. Als hiermee rekening wordt gehouden, verdwijnt het gevonden verband met het aantal behandelzittingen. Deze bevinding is in overeenstemming met Horvath en Symonds (1991) en geeft enige ondersteuning aan de veronderstelling dat de werkrelatie verandert in de loop van de psychotherapie. Zo kan de sterkte van de werkrelatie toenemen door bijvoorbeeld positieve effecten van de behandeling die gaandeweg optreden, maar ook afnemen door bijvoorbeeld toenemende weerstand bij het bespreken van voor de patiënt beangstigende zaken.

In de tweede plaats blijkt de werkrelatie positief samen te hangen met het therapie-effect. Dit geldt in sterkere mate voor subjectieve beoordelingen van veranderingen dan voor veranderingen op gestandaardiseerde tests. Dit komt overeen met andere onderzoeksbevindingen ( Horvath en anderen, 1993). Tussen het patiëntoordeel over de werkrelatie en de SCL-90-totaalscore (psychoneuroticisme) is een trendmatige samenhang gevonden. Dit duidt erop dat een goede werkrelatie althans enigszins samengaat met vermindering van klachten in het algemeen. De gevonden negatieve associaties met de SCL-90-schalen sensitiviteit en hostiliteit en de NHP-schaal sociale isolatie duiden op een samenhang tussen een goede werkrelatie en verminderd wantrouwen en interpersoonlijke sensitiviteit, vijandigheid en sociale isolatie. Deze bevinding lijkt aan te sluiten bij de bevinding van Vervaeke en Vertommen (1993) dat sterke vijandigheid – gemeten aan het begin van de behandeling – positief correleert met een zwakke werkalliantie. Een goede werkrelatie zou problemen op deze gebieden en problemen van sociale isolatie kunnen verminderen. De werkrelatie is eveneens gecorreleerd met subjectieve oordelen over de mate van verandering en het gerealiseerd zijn van doelen. Hierbij zijn voor therapeuten hogere correlaties gevonden dan voor patiënten.

De gevonden samenhangen moeten met voorzichtigheid worden geïnterpreteerd, omdat ze enigszins vertekend lijken door verschillen tussen het beoordelingsperspectief van patiënten en dat van therapeuten. Zo zijn er bijvoorbeeld geen significante verbanden tussen de door patiënten ingevulde SCL-90-scores en NHP-scores en de HAQ-score van de therapeut, en ook niet tussen therapeutoordelen over doelstellingen, werkwijze en al dan niet behaald zijn van doelen en de patiëntscore op de HAQ–II. De vertekening kan het gevolg zijn van het halo-effect, waarbij specifieke beoordelingen vertekend worden door een algemene, positieve of negatieve indruk ( Janis, Mahl, Kagan & Holt, 1969).

Een derde opmerkelijke bevinding is dat een hogere beoordeling van de werkrelatie door therapeuten samengaat met een sterkere gerichtheid op klachtgerichte doelstellingen, terwijl een lagere beoordeling door patiënten samengaat met een sterkere gerichtheid van therapeuten op inzichtgerichte doelstellingen. Nader onderzoek is gewenst om na te gaan of, en welke therapeutkenmerken op deze verbanden van invloed zijn.

De enige bevinding die onafhankelijk is van het beoordelaarsperspectief ( Vervaeke & Vertommen, 1993) is de positieve correlatie tussen de door de therapeuten aangegeven relatie en de door patiënten beoordeelde verandering. Dat veel bevindingen afhankelijk zijn van het beoordelaarsperspectief is des te opvallender, omdat therapeuten en patiënten in hoge mate overeenstemmen in hun eindoordeel over de verandering. De manier waarop de beoordeling van de werkrelatie tot stand komt lijkt van grote invloed te zijn op de gevonden verbanden getuige de geringe correlatie tussen de HAQ–II-scores van patiënten en therapeuten.


Conclusie

De HAQ–II is een generiek instrument waarmee de werkrelatie betrouwbaar gemeten kan worden. De patiënt- en therapeutversie blijken in geringe mate samen te hangen. De HAQ–II lijkt niet samen te hangen met persoonsvariabelen en met de duur van de behandeling, mits er gecontroleerd wordt voor de invloed van de behandelfase. De HAQ–II hangt enigszins samen met andere therapievariabelen en met effectvariabelen, maar het perspectief van de beoordelaar oefent hierop een grote invloed uit. Patiënten en therapeuten verschillen kennelijk in de manier waarop zij de werkrelatie beoordelen.

De conclusie is dat de HAQ–II bruikbaar is voor verder wetenschappelijk onderzoek naar de werkrelatie. Het verdient aanbeveling om afhankelijkheden tussen therapeut- en patiëntoordelen simultaan te onderzoeken. Hiervoor is echter onderzoek op grotere schaal nodig.


Literatuur

Arrindell, W.A., & Ettema, J.H.M. (1986). Klachtenlijst (SCL-90). Lisse: Swets & Zeitlinger.
 
Bassler, M., Potratz, B., & Krauthauser, H. (1995). Der «Helping Alliance Questionnaire» (HAQ) von Luborsky. Möglichkeiten zur Evaluation des therapeutischen Prozesses von stationärer Psychotherapie. Psychotherapeut, 40, 23-32.
 
Beurs, E. de, & Lange, A. (1990). De validatie van de Nederlandse versie van de Therapist Client Rating Scale. Tijdschrift voor Psychotherapie, 16, 21-35.
 
Beurs, E. de, Lange, A., Greven, E., & Hylkema, A. (1990). Het meten van de kwaliteit van de verhouding tussen therapeut en cliënt. Dth, 2, 114-130.
 
Blaauw, E. & Emmelkamp, P.M.G. (1991). De werkrelatie: een onderzoek naar de waarde van de Therapist Client Rating Scale (TCRS). Gedragstherapie, 24, 183-193.
 
Bordin, E. (1979). The generalizability of the psycho-analytic concept of the working alliance. Psychotherapy: Theory, Research and Practice, 16, 252-260.
CrossRef
 
Erdman, R.A.M., Passchier, J., Kooijman, M., & Stronks, D.L. (1993). The Dutch version of the Nottingham Health Profile: Investigations of psychometric aspects. Psychological Reports, 72, 1027-1035.
ChemPort PubMed
 
Frank, J.D. (1973). Persuasion and Healing: A comparative Study of Psychotherapy. Baltimore: John Hopkins (rev. ed.).
 
Gelso, C.J., & Carter, J.A. (1985). The relationship in counseling and psychotherapy: components, consequences and theoretical antecedents. The Counseling Psychologist, 13, 155-243.
CrossRef
 
Greenson, R.R. (1974). The Technique and Practice of Psychoanalysis. Londen: Hogarth Press.
 
Horvath, A.O., & Symonds, B.D. (1991). Relation between working alliance and outcome in psychotherapy: A meta-analysis. Journal of Counseling Psychology, 38, 139-149
CrossRef
 
Horvath, A., Gaston L., & Luborsky, L. (1993). The therapeutic alliance and its measures. In N.E. Miller, L. Luborsky, J.P. Barber, & J.P. Docherty (Eds.), Psychodynamic Treatment Research. A Handbook for clinical Practice. New York: Basic Books.
 
Janis, I.L., Mahl, G.F., Kagan, J., & Holt, R.R. Personality. Dynamics, Development, and Assessment. New York: Harcourt, Brace, & World.
 
Jonghe, F. de, Rijnierse, P., & Janssen, R. (1991). Aspects of the analytic relationship. International Journal of Psycho-Analysis, 72, 693-707.
PubMed
 
Koeter, M.W.J., & Ormel, J. (1991). General Health Questionnaire. Nederlandse Bewerking. Lisse: Swets & Zeitlinger.
 
Lietaer, G. (1976). Nederlandstalige aanpassing Barrett-Lennard's Relationship Inventory voor individueel-werkrelaties. Psychologica Belgica, 17, 73-93.
 
Luborsky, L. (1976). Helping alliances in psychotherapy. In J.L. Cleghhorn (Ed.), Successful Psychotherapy. New York: Brunner/Mazel.
 
Luborsky, L. (1984). Principles of psychoanalytic Psychotherapy. A Manual for supportive-expressive Treatment. New York: Basic Books.
 
Luborsky, L., Barber, J.P., Siqueland, L., Johnson, S., Najavits, L.M., Frank, A., & Daley, D. (1996). The revised Helping Alliance Questionnaire (HAQ–II). Journal of Psychotherapy Practice and Research, 5, 260-271.
 
Luborsky, L., McLellan, A.T., Woody, G.E., O'Brien, C.P., & Auerbach, A. (1985). Therapist success and its determinants. Archives of General Psychiatry, 42, 602-611.
ChemPort PubMed
 
Ruiter, C. de, Garssen, B., Rijken, H., & Kraaimaat, F. (1989). De werkrelatie bij kortdurende gedragstherapeutische behandelingen voor agorafobie. Gedragstherapie, 22, 313-322.
 
Sandler, J., Dare, Chr., & Holder, A. (1992). The Patient and the Analyst. Londen: Karnac Books.
 
Takane, Y., Young, F.W., & Leeuw, J. de (1977). Nonmetric individual differences. Multidimensional scaling: an alternating least squares method with optimal scaling features. Psychometrika, 42, 7-67.
SpringerLink
 
Vertommen, H., & Vervaeke, G.A.C. (1990). Werkalliantievragenlijst (WAV). Vertaling voor experimenteel gebruik van de WAI (Horvath & Greenberg, 1986). Leuven: Departement Psychologie KU (ongepubliceerde vragenlijst).
 
Vervaeke, G., & Vertommen, H. (1993). De werkalliantie: visies op een bruikbaar concept en de meting ervan. Tijdschrift voor Psychotherapie, 19, 2-16.
 
Vervaeke, G.A.C., & Vertommen, H. (1996). De Werkalliantievragenlijst (WAV). Gedragstherapie, 29, 139-144.
 
Naar boven