Routine monitoring is een werkwijze waarmee gedurende de behandeling nauwkeurig wordt vastgelegd of en in hoeverre een patiënt van de geboden behandeling profiteert. Monitoring is in de geestelijke gezondheidszorg lange tijd nogal ongebruikelijk geweest. Van oudsher richtte effectonderzoek in de GGZ zich veeleer op het testen van behandelmethoden en behandeltechnieken dan op het volgen van de individuele patiënt tijdens haar of zijn behandeling. In het vergelijkend effectonderzoek naar de werkzaamheid van behandelingen gaat het om de vraag of de ene behandelmethode of behandeltechniek bij een bepaalde klacht of stoornis gemiddeld betere effecten oplevert dan de andere. Verschillen in gebleken werkzaamheid tussen patiënten die eenzelfde behandelprocedure ontvangen worden in vergelijkend effectonderzoek minder interessant gevonden en zijn zelfs storend voor de beantwoording van de eigenlijke onderzoeksvraag.
Bij ‘routinematig monitoren’ gaat de interesse niet primair uit naar (relatieve) werkzaamheid van de behandelmethode of behandeltechniek als zodanig. In plaats daarvan richt ‘routine monitoren’ zich op de effectiviteit van een behandeling op individueel niveau. Het gaat bij routine monitoring om de vraag: hoe effectief is deze behandeling, vorm gegeven en uitgevoerd door deze specifieke therapeut bij deze specifieke patiënt? Anders dan bij vergelijkend effectonderzoek zijn verschillen tussen patiënten (en behandelaars) bij deze werkwijze dus niet storend voor de onderzoeksvraag, maar juist uitermate relevant. Routine monitoring moet overigens eerder worden opgevat als een vorm van kwaliteitsbewaking binnen de alledaagse klinische praktijk dan als een vorm van wetenschappelijk onderzoek.
In navolging van ontwikkelingen in Groot-Brittannië en de Verenigde Staten zijn er in Nederlandse en Vlaamse instellingen voor geestelijke gezondheidszorg steeds meer initiatieven om de werkzaamheid van behandelingen routinematig te ‘monitoren’. Praktisch bezien houdt routine monitoring in dat een patiënt gedurende de periode dat zij of hij in behandeling is herhaaldelijk (bijvoorbeeld aan het begin, in de loop van, aan het eind en eventueel enige tijd na afsluiting van de behandeling) een gestandaardiseerde vragenlijst krijgt in te vullen. Uit de vergelijking van de scores op die vragenlijst wordt afgeleid of de behandeling (voldoende) aanslaat. Uiteraard kan in plaats van een enkel monitorinstrument gebruik worden gemaakt van een batterij van vragenlijsten, die allemaal een ander aspect van therapeutische verandering meten.
De snel groeiende belangstelling voor routine monitoring is vooral te danken aan de onderzoeken van Lambert en collega’s, die als monitorinstrument de Outcome questionnaire (OQ-45) ontwikkelden (Lambert en anderen, 1996). Lambert en zijn medewerkers hebben in een reeks onderzoeken aangetoond dat het toevoegen van routine monitoring de werkzaamheid van behandelingen in de (ambulante) geestelijke gezondheidszorg sterk kan verhogen en voortijdige uitval van patiënten kan terugdringen, mits het scoreverloop op de OQ-45 steeds snel aan de behandelaar (en de patiënt) wordt teruggekoppeld (Lambert, 2007). Van de OQ-45 is een gevalideerde Nederlandse versie beschikbaar (De Beurs, Den Hollander-Gijsman, Buwalda, Trijsburg & Zitman, 2005; De Jong en anderen, 2007).
Buiten de OQ-45 zijn er een paar jaar geleden vanuit de Verenigde Staten nog twee andere monitorinstrumenten komen overwaaien: de Outcome rating scale (ORS) en de Session rating scale (SRS). Beide monitorinstrumenten werden ontwikkeld door de psychologen Duncan en Miller en door hen in samenwerking met enkele andere collega’s gevalideerd (Bringhurst, Watson, Miller & Duncan, 2006; Duncan en anderen, 2003; Miller & Duncan, 2004; Miller, Duncan, Brown, Sparks & Claud, 2003). De ORS en SRS zijn onderdeel van de door Duncan en Miller gepropageerde client-directed, outcome-informed (CDOI) manier van werken (Duncan, 2010; Duncan, Miller & Sparks, 2004; Miller, Duncan & Hubble, 2004; Miller, Duncan, Sorrell & Brown, 2005).
De ORS meet de ervaren kwaliteit van het persoonlijk leven van de patiënt (‘buiten de therapie’), de SRS de ervaren kwaliteit van het behandelcontact (‘binnen de therapie’). De ORS heeft een soortgelijk meetdomein als de OQ-45, de SRS vraagt naar de kwaliteit van de therapeutische alliantie. De ervaren kwaliteit van het behandelcontact wordt met de OQ-45 niet gemeten. Duncan en Miller bevelen het gebruik van de ORS en de SRS als monitorinstrumenten aan vanwege de gebruiksvriendelijkheid. Elk van beide monitorinstrumenten telt niet meer dan vier vragen, waardoor de patiënt, anders dan bij gebruik van de veel langere OQ-45, slechts zeer beperkt wordt belast. Het is daarom geen probleem om de patiënt te vragen de ORS én de SRS bij elk behandelcontact in te vullen.
Met toestemming van de auteurs (Miller, persoonlijke mededeling; Duncan, persoonlijke mededeling) werden de ORS en SRS enkele jaren geleden in het Nederlands vertaald. Het praktische gebruik van de ORS en de SRS werd eerder besproken door Hafkenscheid (2008, 2009). Hier worden enkele psychometrische kenmerken van de Nederlandse versies van de ORS en SRS gepresenteerd.
Alle patiënten namen aan het onderzoek deel in het kader van een pilot study naar de bruikbaarheid van de ORS en SRS. Een groep van 232 patiënten vulde de ORS en de SRS ten minste drie keer in. Van de patiënten die de ORS en SRS bij meer dan vijf behandelcontacten invulden, werden alleen de eerste vijf opeenvolgende beoordelingen met de ORS en SRS gebruikt. Deze werkwijze garandeerde dat elke patiënt ongeveer even sterk meetelt in de psychometrische analyses en dat verschillen in behandelduur (en dus verschillen in het aantal ingevulde ORS- en SRS-formulieren per patiënt) de psychometrische analyses niet zouden vertekenen. Tweederde van de deelnemende patiënten is afkomstig uit de poliklinieken het Sinai-centrum te Amersfoort en Amstelveen, de resterende eenderde uit de ambulante afdeling van Meerkanten in Lelystad, de Stichting voor ambulante geestelijke gezondheidszorg (STAGG) te Houten en uit een vrijgevestigde Noord-Hollandse psychotherapeutische praktijk. De gegevens werden verzameld in de periode september 2006 tot augustus 2010.
Aan het onderzoek namen 31 therapeuten deel. Zij waren met sterk uiteenlopende aantallen patiënten in de steekproef vertegenwoordigd, variërend van 1 tot 94 patiënten. Zes therapeuten namen met ten minste 10 patiënten deel, drie met 5 tot 9 patiënten en de overige 22 met 1 tot 4 patiënten. Alleen van de therapeut die met 94 patiënten deelnam, was zeker dat geen voorselectie van patiënten had plaatsgevonden, omdat bij hem het afnemen van de ORS en SRS standaard is opgenomen in zijn behandelingen. Om te onderzoeken of de andere 30 deelnemende therapeuten mogelijk wel voorselecteerden op patiënten die zij uitnodigden om aan het onderzoek deel te nemen werden de ORS- en SRS-totaalscores van alle 94 patiënten die bij deze therapeut in behandeling waren vergeleken met de ORS- en SRS-totaalscores van alle overige (138) patiënten. Er werden geen statistisch significante verschillen in gemiddelde scores gevonden (t-toets voor onafhankelijke waarnemingen; p=0,05, tweezijdig; de toetsingsresultaten zijn op aanvraag verkrijgbaar bij de auteur).
De patiënten werden allen poliklinisch behandeld, meestal vanwege angsten stemmingsstoornissen, gecombineerd met persoonlijkheidsproblematiek. (Een overzicht van DSM-IV-TR-classificaties is op te vragen bij de auteur.) Geslacht: 114 vrouwen, 109 mannen (ontbrekende gegevens: 9). De gemiddelde leeftijd was 49 jaar (SD=14,4; leeftijdsbereik: 19 tot 81 jaar; 25 maal was de leeftijd onbekend).
Outcome rating scale (ORS) en Session rating scale (SRS) De ORS en de SRS omvatten elk vier items in visual analogue-formaat: de patiënt krijgt de instructie om bij elk item een kruisje te plaatsen op een lijn van 10 centimeter. De minimale score per item is dus 0, de maximale 10 (centimeter). Hoe meer het kruisje naar links wordt geplaatst, des te meer drukt de patiënt uit zich ontevreden te voelen over zijn dagelijks functioneren in de afgelopen week (ORS) of over het laatste behandelcontact (SRS). Het maximale scorebereik voor de totaalscores op de ORS en SRS loopt van 0 tot 40 centimeter.
| 1 |
het individuele welbevinden;
|
| 2 |
‘interpersoonlijk’ (contacten thuis, mensen die dichtbij staan);
|
| 3 |
‘sociaal’ (werk, opleiding, sociale contacten).
|
In het vierde item wordt de patiënt gevraagd een algeheel oordeel te geven over het leven buiten de therapie.
| 1 |
de ervaren band met de therapeut (relatie/contact);
|
| 2 |
doelen en onderwerpen;
|
| 3 |
aanpak en werkwijze.
|
In het vierde item wordt de patiënt gevraagd een algeheel oordeel te vellen over de kwaliteit van de therapiesessie. In tegenstelling tot de ORS zijn de schaaluiteinden bij de SRS verbaal gedefinieerd. Bijvoorbeeld ‘De manier waarop de behandelaar mijn problemen aanpakt sluit niet bij me aan’ tot ‘De manier waarop de behandelaar mijn problemen aanpakt sluit goed bij me aan’. Van de ORS en SRS is een voorbeelditem weergegeven in bijlage 1.
De TSS dient ter vergelijking met de scores van de patiënt op de SRS. De TSS (Tracey, 1989, 1992) is een monitorinstrument met zeven items, waarmee de therapeut haar of zijn beleving van het behandelcontact kan vastleggen aan de hand van uitspraken als: ‘Ik heb momenteel het vertrouwen dat onze therapeutische samenwerking zal slagen’ en ‘Momenteel vind ik deze cliënt moeilijk om mee te werken’. De items worden beoordeeld op zevenpunts-Likertschalen, variërend van ‘Sterk mee oneens’ (score 1) tot ‘Sterk mee eens’ (score 7). Scores op negatieve uitspraken worden gespiegeld om een totaalscore te kunnen berekenen. Hogere scores duiden op meer tevredenheid van de therapeut over de kwaliteit van het behandelcontact. De TSS werd met toestemming van de auteur in het Nederlands vertaald (Tracey, persoonlijke mededeling).
De gemiddelden en standaarddeviaties van de afzonderlijke ORS- en SRS items, alsook van de totaalscores op de ORS en SRS, staan in tabel 1, uitgesplitst per afname. De tabel laat zien dat patiënten in elk van de vier items van de ORS gemiddeld ongeveer 5 scoren voor hun leven buiten de therapie en gemiddeld ongeveer 8 voor tevredenheid over de verschillende aspecten van het behandelcontact. De gemiddelde totaalscores liggen voor de ORS rond de 20; voor de SRS bedragen ze ongeveer 31,5. Ervan uitgaande dat de onderzochte patiëntengroep als min of meer representatief mag worden opgevat voor de patiëntenpopulatie in de ambulante geestelijke gezondheidszorg kunnen de gepresenteerde statistische gegevens als eerste, voorlopige normen voor de ORS en SRS worden gehanteerd.
|
Afname |
1 |
2 |
3 |
4 |
5 |
|---|---|---|---|---|---|
|
Outcome rating scale ORS |
|||||
|
N |
232 |
232 |
232 |
202 |
193 |
|
Individueel |
4,5 (2,4) |
4,9 (2,6) |
4,9 (2,6) |
4,9 (2,6) |
5,1 (2,6) |
|
Interpersoonlijk |
5,4 (2,6) |
5,9 (2,6) |
5,5 (2,6) |
5,5 (2,6) |
5,7 (2,5) |
|
Sociaal |
5,2 (2,7) |
5,4 (2.6) |
5,6 (2,6) |
5,6 (2,6) |
5,5 (2,7) |
|
Algeheel oordeel |
4,8 (2,3) |
5,1 (2,5) |
5,1 (2,5) |
5,1 (2,6) |
5,3 (2,6) |
|
Totaalscore |
19,9 (8,1) |
21,0 (9,2) |
21,1 (9,2) |
21,2 (9,2) |
21,4 (9,4) |
|
Session rating scale (SRS) |
|||||
|
N |
232 |
232 |
232 |
211 |
192 |
|
Relatie/contact |
7,9 (1,9) |
7,8 (1,9) |
7,9 (1,8) |
7,8 (1,7) |
7,9 (1,7) |
|
Doelen/onderwerpen |
7,9 (1,9) |
7,9 (1,7) |
7,8 (1,8) |
7,9 (1,7) |
7,9 (1,8) |
|
Aanpak/werkwijze |
7,7 (2,0) |
8,0 (1,7) |
8,0 (1,7) |
7,9 (1,7) |
8,0 (1,7) |
|
Algeheel oordeel |
8,1 (1,8) |
8,1 (1,8) |
8,0 (1,9) |
8,0 (1,7) |
8,1 (1,7) |
|
Totaalscore |
31,7 (6,7) |
31,8 (6,2) |
31,6 (6,5) |
31,7 (6,2) |
31,8 (6,4) |
De ORS en SRS hebben een verschillende meetpretentie. Hoe goed of slecht het thuis gaat, is iets anders dan hoe goed of slecht de patiënt het behandelcontact ervaart en andersom. Het is dan ook belangrijk dat de ORS en SRS onderling niet te sterk correleren, omdat beide instrumenten dan niet als onderscheidbaar kunnen worden beschouwd. In tabel 2 zijn de correlaties tussen scores op de ORS en SRS per afname weergegeven. Behalve bij de eerste afname zijn de correlaties tussen ORS en SRS statistisch significant, maar de correlatiecoëfficiënten zijn voldoende laag om de ORS en SRS als onderscheidbare meetinstrumenten op te vatten.
|
Afname |
1 |
2 |
3 |
4 |
5 |
|---|---|---|---|---|---|
|
rORS SRS |
0,09 |
0,24** |
0,18** |
0,24** |
0,23** |
De interne consistentie, oftewel de onderlinge samenhang tussen items waaruit een instrument is opgebouwd, geeft een aanwijzing voor de betrouwbaarheid van een meetinstrument. In tabel 3 staan de homogeniteits-coëfficiënten, uitgedrukt in Cronbachs α, voor de ORS en de SRS per afname. Op een na alle homogeniteitscoëfficiënten zijn 0,90 of hoger. Zowel de ORS als de SRS komt als homogeen instrument naar voren: scores op het ene item hangen sterk positief samen met scores op de andere items.
|
Afname |
1 |
2 |
3 |
4 |
5 |
|---|---|---|---|---|---|
|
ORS |
0,83 |
0,91 |
0,91 |
0,92 |
0,93 |
|
SRS |
0,91 |
0,90 |
0,93 |
0,92 |
0,94 |
Verwacht mag worden dat scores op de ORS per afname flink kunnen fluctueren op grond van levensgebeurtenissen, stemmingen en korte termijneffecten van de behandeling die zich uitstrekken tot het leven buiten de therapie. Van scores op de SRS mag eveneens worden aangenomen dat zij per sessie sterk kunnen verschillen, omdat onwaarschijnlijk is dat patiënten over elk behandelcontact even (on)tevreden zijn. Lage correlaties tussen opeenvolgende afnamen van elk van beide instrumenten hoeven dus niet ongewoon te zijn. Hoge correlaties duiden erop dat patiënten stabiel zijn in hun beleving. Maar hoge correlaties kunnen ook minder gunstig zijn voor de bruikbaarheid van de ORS en SRS, namelijk wanneer die hoge correlaties wijzen op antwoordstijlen: de neiging van patiënten om de instrumenten altijd op dezelfde manier in te vullen, ongeacht wat er zich in hun leven buiten of binnen de therapie voltrekt. In dat geval zouden de scores op de ORS en SRS meer de inflexibiliteit van de beoordelaar (oftewel de patiënt) uitdrukken dan wijzen op een stabiel verloop van het leven van de patiënt en/of van de behandelcontacten.
De correlaties tussen de totaalscores bij opeenvolgende afnamen van hetzelfde instrument zijn tamelijk hoog. Alle coëfficiënten zijn statistisch significant. De correlaties variëren van 0,56 tot 0,68.
|
Afname |
1–2 |
2–3 |
3–4 |
4–5 |
|---|---|---|---|---|
|
ORS |
0,56** |
0,67** |
0,60** |
0,68** |
|
SRS |
0,59** |
0,64** |
0,67** |
0,63** |
Onafhankelijk van de ORS en de SRS (dus: onwetend van de scores die de patiënt toekende) beoordeelden de therapeuten met behulp van de TSS na elk behandelcontact hun (on)tevredenheid over dat behandelcontact. Therapeuten hanteren niet noodzakelijk dezelfde criteria als patiënten bij hun beoordeling van de kwaliteit van het behandelcontact. Verschillen tussen beoordelingen van de patiënt en beoordelingen van de therapeut zijn op zichzelf heel legitiem. Desondanks is het interessant om vast te stellen of er op zijn minst enige samenhang is tussen de beoordelingen van de patiënt zelf en de beoordelingen van de therapeut. In tabel 5 zijn per afname de correlaties van de scores van de patiënt op de ORS met de scores van de therapeut op de TSS weergegeven en de correlaties van de SRS-scores met de TSS-scores. Daar zijn ook de homogeniteitscoëfficiënten voor de TSS weergegeven. Die coëfficiënten zijn (net als die voor de ORS en SRS) dermate hoog, dat het psychometrisch gerechtvaardigd is om de totaalscores op de TSS te correleren met die op respectievelijk de ORS en de SRS.
|
Afname |
1 |
2 |
3 |
4 |
5 |
|---|---|---|---|---|---|
|
N |
218 |
217 |
215 |
191 |
176 |
|
rORS TSS |
0,19** |
0,19** |
0,24** |
0,27** |
0,31** |
|
rSRS TSS |
0,26** |
0,28** |
0,21** |
0,27** |
0,21** |
|
TSS (Cronbachs α) |
0,82 |
0,85 |
0,86 |
0,88 |
0,86 |
De correlaties tussen de ORS en TSS, alsmede tussen de SRS en de TSS zijn bescheiden. De oordelen van de patiënt staan dus betrekkelijk los van de oordelen van de therapeut, maar ze zijn ook weer niet geheel onafhankelijk van elkaar: er is een statistisch significante samenhang.
Het gebruik van de ORS en SRS verbreidt zich de laatste paar jaar in hoog tempo binnen de Nederlandse en Vlaamse geestelijke gezondheidszorg. Tot nu toe waren er echter nog geen psychometrische gegevens van de Nederlandse versies bekend. In dit artikel zijn enkele psychometrische kenmerken van de Nederlandse ORS en SRS gepresenteerd.
De in een steekproef van ruim 200 patiënten gevonden gemiddelden en standaarddeviaties kunnen hooguit als voorlopige normgegevens worden gebruikt. Het is nodig om met nieuwe steekproeven te onderzoeken in hoeverre de hier gepresenteerde statistische kengetallen representatief zijn voor patiënten in de geestelijke gezondheidszorg.
De Nederlandse ORS en SRS bleken uitermate homogeen, wat als indicatie voor de betrouwbaarheid van beide instrumenten mag worden opgevat. Maar die sterke homogeniteit heeft ook een keerzijde. Patiënten maken in hun scoringswijze nauwelijks onderscheid tussen de diverse items van elk meetinstrument, wat erop kan duiden dat de ORS en SRS onderhevig zijn aan antwoordstijl: de neiging van patiënten om elk item ongeveer hetzelfde te scoren. Daarmee is de informatiewaarde van de afzonderlijke items nogal beperkt. Juist uit verschillen in beoordeling van de items kunnen patiënt en therapeut lering trekken, zelfs als die verschillen subtiel zijn. Bijvoorbeeld: de sterke tevredenheid van de patiënt over de band met de therapeut in vergelijking met de minder sterke tevredenheid van de patiënt over de behandelaanpak. Om die reden verdient het aanbeveling dat therapeuten hun patiënten aanmoedigen om ook alert te zijn op kleine verschillen in beleving van de onderscheiden aspecten die elk van beide monitorinstrumenten in kaart probeert te brengen, zodat die verschillen zichtbaar worden in de scores.
De zelfbeoordelingen met de ORS en de SRS enerzijds en de beoordelingen door de therapeut met de TSS anderzijds bleken slechts zeer bescheiden samen te hangen. Zolang therapeuten niet blind zijn voor mogelijke onvrede van de patiënt hoeven die lage overeenstemming tussen oordelen van de patiënt zelf en oordelen van de therapeut niet per se een probleem te zijn. Integendeel, verschillen in de beleving van de kwaliteit en de productiviteit van de therapie kunnen juist bijdragen tot vruchtbare gesprekken tussen patiënt en therapeut over het waarom van die verschillen, mits die gesprekken vanuit wederkerigheid en gelijkwaardigheid worden gevoerd.
