Eind 1992 verscheen het verslag van een door het NcGv uitgevoerd onderzoek naar vraag en aanbod in de RIAGG, in de wandeling het VAR–onderzoek genoemd. In die praktijkstudie werd getracht te onderzoeken met welke hulpvraag de cliënten zich bij de RIAGG melden, welke hulp de RIAGG aanbiedt, hoe vraag en aanbod zich tot elkaar verhouden en welke resultaten door de hulp worden geboekt. Geen kleinigheid dus. Alle volwassen (21–64 jaar) cliënten, die zich in de eerste drie maanden van 1990 bij één van de vijf participerende RIAGG's meldden, vormden de onderzoekspopulatie (n = 3042). Op diverse meetpunten kregen cliënt en betrokken RIAGG–medewerker (intaker, hulpverlener) een aantal schriftelijk in te vullen vragenlijsten toegestuurd. De dataverzameling strekte zich uit over een periode rond achttien maanden. Degenen die nog in behandeling waren (vijftien tot achttien maanden na aanmelding) werd niet om een slot– maar om een voorlopig eindoordeel gevraagd.
Binnen het aanmeldingscohort moet onderscheid worden gemaakt tussen reguliere aanmeldingen (74%) en acute aanmeldingen (26%); dit laatste percentage is ten opzichte van de landelijke cijfers hoog.
Bij de reguliere aanmelders is het de cliënt die als eerste gevraagd wordt een aantal lijsten in te vullen, direct na aanmelding. De intaker is vervolgens aan de beurt.
Bij de acute aanmelding vult alleen de betrokken hulpverlener direct na aanmelding de gewenste formulieren in.
Een volgend meetpunt is bij de start van de behandeling; hier moet de behandelaar aangeven wat hij/zij van plan is. Ten slotte wordt bij het einde van de behandeling of bij het aflopen van de onderzoekstermijn zowel de therapeut als de cliënt gevraagd te oordelen.
Een speciale vragenlijst gaat uit naar de zich regulier aanmeldende, maar niet op het spreekuur verschijnende cliënten (10%).
De hoofdstukken in het boek zijn, globaal gesproken, telkens gebaseerd op de op één moment verzamelde gegevens. Zo komt in hoofdstuk 3 de hulpvraag aan de orde, gebaseerd op de door cliënten, kort na aanmelding ingevulde lijsten. Het blijkt in eerste aanleg binnen deze groep niet goed mogelijk om, op basis van de klachten, een onderscheid tussen hulpvragen te maken. Pas als er sociaal–demografische variabelen meegenomen worden in de analyse, kunnen de onderzoekers acht cliëntgroepen onderscheiden. Dat zijn jongeren met veel psychische klachten en psychosociale problemen (14,5%), werkende jongeren met diffuse psychische klachten (11,6%), gehuwden met ernstige psychische en psychosociale problemen (14,2%), werkende huisvaders (19,1%), alleenstaanden/alleenstaande ouders met veel psychische en omvangrijke psychosociale problemen (9,8%), depressieve, alleenstaande jong volwassenen (14,4%), gescheiden, alleenstaande vrouwen van middelbare leeftijd (8,2%) en huisvrouwen (8,2%). De hulpvraag zelf blijft globaal: individuele gesprekken, niet te veel, gericht op advies en opheldering.
In hoofdstuk 4 worden de door de spreekuurhouders verstrekte gegevens vermeld; deze geven eenzelfde beeld als de cliëntgegevens.
In hoofdstuk 5 wordt het hulpaanbod onderzocht aan de hand van ongeveer duizend ingevulde behandelplannen. Deze worden gegroepeerd in acht categorieën, te weten inzichtgevende openleggende therapie (14%), inzichtgevende steunende therapie (5%), klachtgerichte inzichtgevende therapie (9%), klachtgerichte directieve therapie (14%), relationele directieve therapie (12%), relationele inzichtgevende therapie (15%), medicamenteuze behandeling (12%) en steunende behandeling (19%). De samenhang tussen de cliëntgroepen uit hoofdstuk 3 en deze behandelplannen wordt onderzocht. Geconcludeerd wordt dat afstemming op de vraag nog steeds aanwijsbaar is.
In hoofdstuk 6 worden verloop en, voor zover van toepassing, afsluiting van de behandeling zoals gezien door de hulpverlener gerapporteerd en gerelateerd aan zowel behandelplannen als cliëntkenmerken. Er wordt een zestal prototypische behandelvormen beschreven die af blijken te wijken van de plannen. ‘Meestal betreft het een verschuiving van het maximaal haalbare naar feitelijke mogelijkheden’. (p. 123)
In hoofdstuk 7 komen de eindoordelen van de cliënten aan de orde. Een kleine zeshonderd hebben de moeite genomen de laatste vragenlijsten in te vullen. Daarvan is een niet vermeld deel nog in behandeling. (Na– vraag bij de onderzoekers bracht uitkomst: tweehonderd nog in behandeling.) De cliënten zijn over het algemeen tevreden over de RIAGG, zij het meer over de bejegening dan over het effect.
Hoofdstuk 8 geeft de bevindingen omtrent de zich acuut meldende cliënten en hoofdstuk 9 een slotbeschouwing met onder andere de al veel geciteerde opmerkingen: ‘De feitelijke behandeling is korter dan gepland en bevat bovendien meer steunende en structurerende elementen. De cliënten zijn daarover tevreden, de hulpverleners minder.’
In het voorwoord bij dit onderzoeksverslag maakt Van Dyck melding van talrijke logistieke problemen die bij de uitvoering van dit complexe project overwonnen moesten worden. De onderzoekers doen daar nog een schepje bovenop. Sprekend over de verzamelde data stellen zij (p. 15): ‘Deze schier oneindigheid aan mogelijkheden geeft aan het onderzoek een bijzondere dynamiek. Bij voorbaat is duidelijk dat een dergelijke opzet tot de nodige complicaties leidt, en de onderzoekers voor soms zeer bijzondere problemen zal stellen; het zal de kunst zijn het overvloedige materiaal zo te ordenen dat een goed en helder beeld ontstaat van de RIAGG–cliëntèle en de wijze waarop zij behandeld wordt. Niet alleen ontbreekt een duidelijke theorievorming over vraag en aanbod in de RIAGG, ook past de methodologische standaard voor experimenteel–wetenschappelijk onderzoek niet op een dergelijk complexe analyse van het veld. Nogal eens zullen, al zoekend, nieuwe wegen gebaand moeten worden’.
Bovenstaande brallerige bezweringsformules beloven weinig goeds. En inderdaad, dit post–Schnabel NcGv–rapport is van een bedenkelijke slordigheid. Over de analyses van de ontvangen data valt weinig op te merken, al is er soms wel een erg kleine n in tabellen overgebleven. Over de kwaliteit van de gebruikte zelfrapportagelijsten moet vermeld worden dat er erg vrijmoedig met bestaande instrumenten wordt omgesprongen (pp. 8–11). De koppeling van het op verschillende momenten en vanuit verschillend perspectief verzameld materiaal is vaak op weinig zeggende wijze gerapporteerd. Bijvoorbeeld in de tabellen 6.9, 6.10 en 6.11: volslagen onduidelijk is waarom in deze laatste tabel met een n = 522 wordt gewerkt (voetnoot 46), terwijl in de voorafgaande paragraaf nog sprake is van n = 793.
De belangrijkste bezwaren echter betreffen de dataverzameling, de onnauwkeurige verantwoording daarvan en de selectieve onderschatting van het non–respons–probleem.
Op diverse punten in dit onderzoek deden zich dataverzamelingsproblemen voor. In de eerste plaats bij het mogelijk door elkaar lopen van de groepen acuut en regulier aangemeld. Het bleek mogelijk dat acuut aangemelden toch in reguliere therapie komen. De opmerking daarover (p. 165) bevat de mededeling dat 15% in therapie bij de RIAGG komt, zij het dat niet duidelijk is bij welke afdeling. De evaluatie door de cliënt (n = 673 staat op p. 14) is dan afkomstig of van regulier gemelde en behandelde, of van acuut gemelde en regulier behandelde of van acuut gemelde en behandelde cliënten. Op p. 129 is sprake van 595 regulier aangemelden die hun lijsten invulden, op p. 151 van slechts 10% van de acuut aangemelden. Bij navraag waren dat er slechts 43, en niet 10% van de 791 acuut aangemelden.
In de tweede plaats is er de geringe respons op de no show–lijst (15%), zodat deze groep buiten beeld blijft, evenals de telefonisch doorverwezenen en degenen die weigerden aan het onderzoek mee te werken. Slechts van 70% van de zich regulier aanmeldenden is dus iets bekend.
De spreekuurhouders leveren gegevens over de reguliere groep, over bijna 90% van de gevallen die zij zagen (n = 1573, p. 14). Opmerkelijk is dat op p. 48 over deze zelfde groep een n van 1711 wordt gerapporteerd.
In de derde plaats is er het merkwaardige feit dat niet duidelijk is hoe vaak er naar behandelplannen is gevraagd, wel hoe vaak er een antwoord kwam: 1027 keer.
Een moeilijk meetmoment blijkt, in de vierde plaats, de eindmeting te zijn. Over 2224 cliënten, acuut en regulier aangemeld samen, is informatie gevraagd. Over 351 door onvoorziene oorzaken niet. De hulpverleners zouden 75% respons hebben gehaald. In hoofdstuk 6 wordt maar over 1353 gerapporteerd, in plaats van over 1669. Was de rest acuut? En als dat zo is, waarom daar verder niets mee gedaan?
In de vijfde en misschien wel belangrijkste plaats is er het bedroevende responspercentage van de cliënten na afloop. De onderzoekers hanteren enerzijds 33,4% en denken daarmee uit de voeten te kunnen (p. 13), anderzijds 30,2% (p. 14). Wat echter in het geheel niet gerapporteerd wordt is een opsplitsing naar cliënten van wie de behandeling wel en cliënten van wie de behandeling niet afgelopen is.
Nu is het ook niet duidelijk hoeveel cliënten nog in behandeling waren. De hulpverleners rapporteerden over 310 nog lopende behandelingen. Extrapolerend van een responspercentage van 75% zou dat rond 400 doorlopende contacten zijn, op rond 1800 behandelingen. Van hen respondeerden er 200, 50%, mooi dus. Maar dan zijn er ook maar rond 400 evaluaties door cliënten over afgesloten behandelingen, op 1400 afgeslotenen, dus 28%.
Bovenstaande gegevens, hoe banaal ook, zijn slechts met veel moeite uit het onderzoekverslag te halen, onder meer door de regelrechte fouten die zo nu en dan gemaakt worden in de weergave van percentages (p. 14, p. 129). De data waarop de onderzoekers hun geavanceerde analyses loslaten zijn verre van volledig. En een vergelijking tussen respondenten en niet–respondenten mag dan niet veel verschil opleveren op de gegevens die over beide groepen bekend zijn (leeftijd, geslacht), dat zegt weinig tot niets over die gegevens die er toe doen (effect, tevredenheid).
Nog een ander punt verdient de aandacht. In de meeste analyses gebruiken de onderzoekers de hele populatie. Niet alleen maken ze geen onderscheid tussen beëindigde en niet–beëindigde behandelingen, ook de psychotherapie wordt nauwelijks apart beoordeeld van de volwassenenzorg in het geheel. Slechts het hulpaanbod (paragraaf 5.6) en de wachttijden (p. 97) worden vermeld. Wel wordt duidelijk gemaakt dat de overige behandelingen in de RIAGG eigenlijk hetzelfde bieden als psychotherapie, zij het minder langdurend (p. 91).
Het is jammer dat een vergelijking tussen volwassenenzorg en psychotherapie juist door die beroerde, selectieve dataverzameling bij het einde van de therapie niet gemaakt kan worden. Nu lijkt het erop of psychotherapie alleen maar meer tijd gaat kosten. Dat kan misschien wel waar zijn, maar naar een eventuele meerwaarde is niet gekeken.
Het zal duidelijk zijn dat deze recensent niet enthousiast kan zijn over dit onderzoek. Het lijkt er sterk op dat de onderzoekers zich vooral hebben ingespannen op die gebieden waar ze greep op de zaak hadden, namelijk bij de verwerking van de data, die ze van hun bureau in hun computer stopten. Zorgen voor en ook een beetje controle op een goede dataverzameling is te veel verwaarloosd.
Het verslag heeft, zoals de auteurs al aankondigden, een moeilijk toegankelijk karakter. En wat mij betreft dan niet door ‘de wetenschappelijke precisie en nuancering’ (p. 15), integendeel. Het volstaan met het lezen van de uitgebreide publiekssamenvatting (NcGv–reeks 92–21) zou een veel te positief beeld van dit onderzoek hebben opgeroepen.
In die samenvatting wordt een aantal op zichzelf behartenswaardige zaken aan de orde gesteld over de gebrekkige wijze waarop vraag en aanbod in de RIAGG op elkaar aansluiten. Het rapport kan ook in dat licht gezien worden. Voor mij zou dat niet het opzetten van een andere bril betekenen, maar het afzetten van de vertrouwde.