Ruim tien jaar na Het effect van psychotherapie – meetbaarheid en resultaten is een tweede boek van Schagen over dit onderwerp verschenen, in de vorm van een proefschrift.

Het bestaat uit vijf artikelen, omlijst door een summiere inleiding en de verplichte samenvatting in twee talen. Schagen verantwoordt deze opzet als een ‘vijfluik met een "hybride" karakter’. Heterogeniteit is inderdaad troef; dat maakt het boek boeiend èn vermoeiend om te lezen. Als clinicus heb ik het bestudeerd met dezelfde vragen die de effectonderzoeker bezighouden, namelijk: wat is er (sinds 1983) veranderd, verbeterd, hetzelfde gebleven, en wat betekent dat voor de praktijk?

Het eerste hoofdstuk, ‘De effecten van psychotherapie’, sluit direct aan bij het boek uit 1983. Schagen, als literatuur–meta–onderzoeker, vat zijn keuze uit de effectstudies sinds 1983 samen. Uit zijn overzicht blijkt dat een eensluidend oordeel over resultaten nog steeds ver te zoeken is. De aanwijzingen voor een beperkte effectiviteit houden niet over. Het overzicht maakt wel weer eens duidelijk, welke factoren het doen en/of bestuderen van effectonderzoek onaantrekkelijk én onproduktief maken.

Er doen zich methodologische ‘kluiven’ voor; dit zijn lastige, maar oplosbare problemen zoals definiëringsmankementen en onduidelijkheid in variantie tussen therapeuten (qua referentiekader, opleidingsniveau, ervaring enzovoort), setting (ambulant, klinisch enzovoort), therapieën (kenmerken als doel, duur, combinaties met andere interventies) of cliënten (ernst en complexiteit van de problematiek, demografische kenmerken).

Er komen methodologische ‘storingen’ voor; dit zijn onbeïnvloedbare, maar beslissende verschijnselen buiten de controle van cliënt en therapeut, óf de meta–onderzoeker. Dan zijn er de methodologisch onoverkomelijke problemen op het ethische of logistieke vlak. Voorbeelden van logistieke problemen zijn de arbeidsintensiteit van (goed) assessment en uitval uit de steekproef (attritie). Deze barrières mogen volgens Schagen niet worden onderschat, zeker niet bij een beperkt onderzoeksbudget. Ethische afwegingen kunnen een onneembare vesting betekenen bij de noodzaak van een controlegroep bij kwantitatief onderzoek. Een controlegroep geen of een placebo–behande– ling aanbieden is geen ethisch verantwoorde procedure. Een wachtlijst–controlegroep torpedeert follow–up–studies.

Schagen bekijkt de mankementen van psychotherapie–effectonderzoek met de strenge blik en het rode potlood van de ouderwetse schoolmeester. Psychotherapie–onderzoek moet perfect zijn, anders heeft het voor hem geen waarde. Mij valt op, dat bij andere menswetenschappen, bijvoorbeeld de medische, een mildere norm bestaat. Ook onderzoekers in de medische wetenschap (zie bijvoorbeeld Andersen, 1990) beseffen dat in 60% van hun onderzoek methodologische tekortkomingen de conclusies beïnvloeden. Medici beschouwen onderzoek zonder harde conclusies echter toch als ‘nuttig’ en een bijdrage tot ‘verruiming van inzicht’. Zij waarschuwen net als Schagen voor dubbelzinnige conclusies uit een veelheid van factoren, maar concluderen dan bemoedigend dat ‘(…) bevindingen kritisch dienen te worden geëvalueerd in de context van de bestaande wetenschap’ (zie bijvoorbeeld Grisso, 1993).

In de Engelstalige samenvatting oordeelt Schagen dat de vergelijkende uitkomststudies in de jaren negentig meer ‘sophisticated’ worden uitgevoerd dan in de jaren zestig het geval was. Hoe zou hij zo'n waardering in het Nederlands vertalen? Tevreden is hij bepaald niet. Hij deelt onvoldoendes uit, onder andere voor het uitblijven van valide meetinstrumenten, en voor het geharrewar over formules bij het berekenen van effectgroottes.

In het tweede hoofdstuk, ‘De waarde van de modale gedragstherapie’, onderzoekt Schagen bestaand beschrijvend onderzoek, liefst ook evaluerend onderzoek, van de psychotherapie in de praktijk. Bij deze ‘zoektocht’ maakt hij de indruk op eieren te hebben gelopen, en dus blijft er weinig heel. Met andere woorden: bij deze zoektocht lijkt hij zijn best te hebben gedaan de onderzoeken in hun waarde te laten, maar dat is hem niet echt gelukt.

Beschrijvend onderzoek kan nuttig zijn om vergelijkingen te maken, bijvoorbeeld binnen één groep cliënten met verschillende therapieën of binnen één soort zorg of instelling. Maar deze activiteiten voldoen niet aan de normen van wetenschappelijk onderzoek. Evaluatieve praktijkstudies leiden niet tot kennisvermeerdering, zij kunnen hoogstens een bijdrage leveren aan kwaliteitsbewaking, hoewel Schagen ook hierbij vreest dat te vaak wordt uitgegaan van weinig gecontroleerde, impliciete of exemplarische bevindingen.

Hij oppert vervolgens een halfslachtige conclusie; halfslachtig door het woordje ‘misschien’: ‘misschien is vergelijkend onderzoek tussen psychotherapie–verstrekkers wel prematuur masochistisch.’ Prematuur, zolang psychotherapie een container–begrip is en moeilijk te onderscheiden van andere intermenselijke contacten, en masochistisch omdat psychotherapeuten, volgens Schagen, tegenval– lende resultaten en aan het licht komende onzorgvuldigheden schuwen.

Hoofdstuk 3, ‘Geteld, gewogen’ (eerder verschenen in het Nederlands Tijdschrift voor de Psychologie) heeft in vergelijking met de andere hoofdstukken voor clinici de grootste informatieve waarde. Schagen gaat in op het onderscheid tussen klinische en statistische relevantie, ook wel het verschil tussen waarde en effect genoemd. Effecten van psychotherapie worden als statistische significantie weergegeven; deze hebben echter doorgaans voor clinici geringe (praktische) waarde. Het begrip ‘waarde’ kent een meer overdrachtelijke betekenis, en komt in de praktijk onder diverse synoniemen voor: betekenis, inhoud, zin, werking, nut. Meestal gaan discussies over de waarde van psychotherapie over veranderingen, die in het leven van een cliënt daadwerkelijk verschil maken. Dus zoeken onderzoekers (en/of financiers) naar een objectief (?) oordeel over de zogenaamde socia– le validiteit. Psychotherapie kan zichzelf ‘bewijzen’ door duidelijkheid te verschaffen over aantoonbare veranderingen aan de hand van relevante doelen, acceptabele technieken en satisfactie van de consumenten.

Een methodologisch verantwoorde onderzoeksopzet blijkt alweer niet voorradig. Een voor de hand liggende werkwijze is, naar de mening van de (ex–)cliënt te vragen. Hierbij is het probleem dat wordt verondersteld dat de cliënt–consument het verkeerd ziet. Deze zou geen juist beeld van psychotherapie, of te hoge verwachtingen ervan hebben, danwel tevreden zijn op oneigenlijke gronden, zoals bij tevredenheid over de bejegening.

Schagen noemt Jacobson, die heeft getracht een onafhankelijke definiëring van verbeterde of herstelde cliënten te formuleren. Bij Jacobson is een cliënt ‘hersteld’ als verandering niet aan ‘kans’ toe te schrijven is en de cliënt verschuift van de range ‘abnormaal’ naar de range ‘normaal’.

Volgens Schagen zijn Jacobsons ideeën enthousiaster ontvangen dan de uitwerking ervan. Want wat zeggen individuele veranderingsscores? En op het gebied van normatieve data schort er ook nog het nodige. Data ontbreken, zijn onbetrouwbaar of te weinig valide. Het wachtwoord ‘hersteld’ blijkt vaak afhankelijk van de door de onderzoeker gekozen maat. Een kwantitatieve manier om de waarde te wegen, namelijk via het bepalen van een maat van effectgrootte, bevindt zich nog in de ‘trial and error’–fase; de geleerden zijn het niet eens over de gekozen formules. Eerlijk gezegd hebben de door Schagen aangevoerde argumentaties mij op dit gebied niets wijzer gemaakt. Hij stelt bij effectgroottebepalingen de vraag: ‘Welk praktisch nut heeft het?’. Hij spreekt volgens mij voor zijn beurt, als hij antwoordt dat ‘het in ieder geval helpt om de zelf–waardering van psychotherapeuten op te krikken’. Op welk onderzoek baseert Schagen deze vooronderstelling?

Volgens Schagen is de psychometrische weg doodlopend. In 1983 stelde hij nog voor een kosten–baten–analyse te maken, maar thans wijst hij dit idee af als een zwaktebod, omdat nooit alle relevante elementen in zo'n analyse benoemd en gemeten kunnen worden. Zelfs bij maatschappelijk relevante (bij)effecten van psychotherapie, zoals een afname van de medische consumptie of een reductie van arbeidsongeschiktheid, vraagt Schagen zich terecht af of ‘verbeteringen’ overtuigend zijn aan te tonen, om over ethische implicaties maar te zwijgen.

Als (scheids)rechter oppert hij de conclusie dat veranderingen door psychotherapie er weliswaar kunnen zijn, maar dat zij ontsnappen aan de grove maten van onderzoek. Het lijkt of hij geen fiducie heeft in de verfijning van de wetenschappelijke maten als hij opmerkt: ‘misschien ligt de waarde wel in het bestaan van de belofte, niet in het inwilligen ervan.’ Met deze filosofische wijsheid wordt het onderzoeksterrein verlaten.

Hoofdstuk 4, ‘De therapie zoals bedoeld’, gaat over het zogenaamde psychotherapieproces. Schagen rechtvaardigt zijn belangstelling voor dit type onderzoek – zonder controlegroep – vanuit een praktisch standpunt. Kijken naar uitkomsten heeft weinig zin als er geen oog is voor de wegen waarlangs deze tot stand zijn gekomen. Wanneer aangetoond kan worden dat effecten samenhangen met significante gebeurtenissen of bestanddelen uit de psychotherapie, is het bestaansrecht van onderzoek hiernaar verzekerd.

Vier door Schagen geselecteerde onderzoeken demonstreren de diversiteit en de beperkingen van deze empirische arbeid. Het komt erop neer dat procesonderzoek moeizaam en arbeidsintensief is, nog in de kinderschoenen staat en een geringe bijdrage aan theorievorming levert. De validiteit valt of staat met de medewerking van en het retrospectieve oordeel van therapeut én cliënt.

Schagen meent dat in de theorievorming over de vraag ‘wat werkt?’ wel consensus bestaat. Wat werkt, zijn aspecten van de psychotherapeutische relatie en de hierbinnen ontstane mogelijkheid voor corrigerende emotionele ervaringen. Nadere identificatie van deze ruime begrippen blijft echter voor de therapeut te globaal en voor de theoreticus te abstract.

Belangstelling voor het construct van de therapeutische relatie is er sinds Freud, maar een verantwoorde begripsomschrijving en eenduidige operationalisaties laten op zich wachten. Dit valt te betreuren, en niet alleen omdat dit nodig is voor onderzoek naar de correlatie van de therapeutische relatie met het behandelresultaat. Ik mis hier bij Schagen een discussie over de psychotherapeutische relatie als mogelijk dé unieke dimensie van de psychotherapie. Geen behandelaar is zo volledig op zichzelf als ‘instrumentarium’ aangewezen als de psychotherapeut. Ook de rol van de psychotherapiecliënt is dubbel. Hun relatie is dus niet te vergelijken met de meer instrumentele relatie van een arts met een patiënt.

Schagen somt enig onderzoek op, waarin de kwaliteit van de relatie in verband wordt gebracht met behandelresultaten. Hij merkt op dat protocolbehandelingen voor dit doel meer gerichte aandacht hebben gekregen. Protocollen zijn echter niet voor procesonderzoek ontworpen en lijken ook niet het meest geschikt om inzicht te verschaffen voor het onderzoek naar de therapeutische relatie.

Onderzoek naar één partner van de relatie, namelijk de therapeut, is volgens Schagen niet geliefd. Hij constateert in ieder geval dat naar factoren als bekwaamheid of intratherapeutvariatie nauwelijks onderzoek is verricht. Hetzelfde geldt voor de kwaliteit van de opleiding tot psychotherapeut. Toch is het een gegeven dat doorgaans beginnende therapeuten in onderzoek worden gebruikt, hetgeen dit onderzoek devalueert.

Schagen stelt zo de wankele positie van de psychotherapie vast. De ene ongetoetste conclusie volgt op de andere ongetoetste premisse over ongetoetste ervaringen uit de ongetoetste psychotherapie–praktijk. Tegelijkertijd neemt hij waar dat de psychotherapie komt met stellige uitspraken over de werkzame factoren. In deze tweespalt weet hij kennelijk geen mogelijkheden meer voor ‘beter’ onderzoek te bedenken. Hij doet slechts een voorstel voor een attitudewijziging, in de woorden van zijn promotor Fournier: ‘Het streven naar hardere criteria zou wel wat vanzelfsprekender mogen zijn’.

Het laatste hoofdstuk, ‘Gevallen en ander zwak onderzoek’, begint met het bekende citaat van Frank, dat luidt dat ‘iedere therapeut indrukwekkende veranderingen bij een cliënt meemaakt’. Het zouden deze successen zijn die op basis van intermitterende bekrachtiging de therapeut legitimeren therapie te bedrijven. Schagen is op zoek gegaan naar gevalsstudies waarin het ‘frappante succes’ van behandeling niet alleen voor de betrokken therapeut en cliënt, maar ook voor een leek overtuigend is. Hij erkent de gebreken van gevalsstudies, maar ook dat sommige vragen zich op geen ander niveau dan dat van een gevalsstudie laten onderzoeken.

Ik kan niet nagaan hoe goed hij heeft gezocht, maar de gevalsbeschrijvingen die volgens Schagen het predikaat ‘onderzoeksliteratuur’ verdienen, zijn voorbeelden van treurnis. De aangehaalde auteurs schrijven over hun eigen therapie–arbeid in termen van ‘therapeutische mislukking’ en ‘zwakke effecten’.

Ik onderken inderdaad in de psychotherapie het bestaan van de norm dat het ‘not done’ is om over een psychotherapie (–effect) een succesverhaal te schrijven. Therapeuten willen kennelijk niet met Jomanda's vergeleken worden.

Schagen schrijft de geringe oogst aan methodologische factoren toe. Bij de analyse van klinisch materiaal met kwalitatieve methoden worden overtredingen begaan, zoals overgeneralisaties, of interpretaties die als feiten worden gebracht. De subjectieve rapportage van ondervraagde cliënten en therapeuten kan niet anders dan tot voorbarige conclusies leiden.

Een ethische hindernis bij gevalsbeschrijvingen is het recht op privacy van cliënten. Privacy–redenen kunnen gelukkige ex–cliënten ervan weerhouden met hun psychotherapieverhaal te komen. Therapeuten hebben geen scholing in anonimisering, en de anonimisering kan hun gevalsstudie oninteressant, ongeloofwaardig of ongeschikt voor follow–up–onderzoek maken. Schagen kent deze ethische problemen uit eigen ervaring; ze staan beschreven in zijn boek uit 1983. Maar nu komt hij met de suggestie, dat er geen mooie psychotherapieverhalen zouden zijn. Vindt hij dan ook alle mondelinge rapportage, bijvoorbeeld te beluisteren tijdens intervisie, alleen maar mooi–weer–gepraat?

De titel van de Nederlandstalige samenvatting luidt: ‘De terughoudendheid in ere hersteld’. De scepsis vanuit de methodologische stand van zaken dwingt tot dit eerherstel. Schagen komt de eer toe deze wetenschappelijke keuring te hebben verricht.

In zijn ‘epiloog’ zet hij zijn empirische pet af. Hij erkent zowel het bestaan van psychische problemen als het bestaansrecht van psychotherapie, al dan niet door gebrek aan alternatieven. Hij beveelt mensen die een therapie overwegen een andere houding aan dan die van sceptisch onderzoeker. Voor een succesvolle behandeling is het namelijk volgens dezelfde Schagen nodig dat een cliënt er een ‘beetje in gelooft’. Hij noemt dat Hoop. De therapeut zou in zijn eigen aanpak evenzeer moeten geloven. Hem wordt Geloof toegewenst, al of niet op irrationele gronden. (De Liefde zal dan wel het heilzame proces zijn.)

Schagens gigantische inspanning – behalve over literatuur beschikte hij over de erfenis van het maar liefst 1500 cliënten tellende Fobieënproject – heeft geen helder antwoord opgeleverd op de vragen naar waarde of effecten van psychotherapie, zelfs niet op de vraag in welke richting we het moeten zoeken. De arbeid van Schagen lijkt daarmee verdacht veel op die van de doorsnee therapeut. Het algemene, subjectieve oordeel over zijn werk is positief; zijn nijvere en kritische blik is nuttig en nodig. Het objectieve oordeel is dat zijn werk niet zoveel oplevert. Tot nu toe blijft het bij kijken naar het Drosteblik–effect, wat zeer opmerkelijk is, maar er valt nooit meer te zien dan wat er al was.

Schagen beaamt dit zelf wanneer hij stelt: ‘De dissertatie levert maar een klein beetje munitie om de opponenten van psychotherapie tot zwijgen te brengen’. Ik ben met 25 jaar ervaring als psychotherapeut geen opponent te noemen, maar praktizerend promotor. Als ik vanuit deze positie probeer de waarde van Schagens werk in de betekenis van praktisch nut te onderkennen, is mijn eerste vraag een scoringskans voor de opponenten. Die vraag is wat ik mijn cliënten over dit boek moet vertellen. Citeer ik uit Schagen, dan zal ik de indruk wekken dat ik het niet zo goed weet, of dat het vak niets voorstelt. Met zijn informatie sla ik hun hoop de bodem in.

Aangezien dit haaks staat op een eerdere aanbeveling, concludeer ik dat Schagen nog niet klaar is met de psychotherapie, en vice versa. Hij is teleurgesteld over wat hij (als onderzoeker?) over de praktijk van de psychotherapie te weten is gekomen. Hij hoopt op meer publikaties van dappere psychotherapeuten. Hij gooit nieuwe opdrachten in de container van de psychotherapie, zoals onderzoek naar de indicatiestelling en onderzoek naar preventieve mogelijkheden. De indicatiestelling is zeker een ondergewaardeerd gebied. Ook Donker (1994) besprak recent in haar inaugurele rede, dat de in het regeerakkoord vereiste ‘onafhankelijke indicatiestelling’ problematisch is, daar objectieve criteria niet voorhanden zijn. Vol– gens haar voldoet psychotherapie wel aan de eerste twee criteria van de zogenaamde trechter van Dunning: de zorg is noodzakelijk en werkzaam, maar niet aan het derde criterium over de doelmatigheid of ‘kosteneffectiviteit’ van interventies.

Literatuur

Simon Schagen Over de waarde van psychotherapie. Proefschrift Universiteit van Amsterdam, 1994.

Andersen, B. (1990). Methodological errors in medical research. Oxford: Blackwell.

Donker, M.C.H. (1994). Inaugurele rede bij de benoeming tot bijzonder hoogleraar Beleid en evaluatie van de geestelijke gezondheidszorg (vanwege de Stichting Bevordering Wetenschappelijk Onderwijs Geestelijke Gezondheidszorg) bij het instituut Beleid en Management Gezondheidszorg van de Faculteit der Geneeskunde en Gezondheidswetenschappen van de EUR.

Grisso, J.A. (1993). Making comparisons. The Lancet 342, 157–160.