Nieuwe tool bepaalt tekstniveau

Maar met de vijf voorspellers afkomstig uit ons leesbaarheidsonderzoek, kunnen we ongeveer vijfentwintig procent extra verklaren van de verschillen tussen teksten.

Het idee van een softwareprogramma dat je tekst indeelt op begripsniveau is niet nieuw. Maar de bestaande tools werken allemaal met de niveaus uit het Europees Referentiekader (ERK). Dat is een indelingsniveau gemaakt voor vreemde taalbeheersing, dat is omgezet naar beheersing van de moedertaal. Een A1-tekst bijvoorbeeld is heel makkelijk te lezen, een C2 tekst heel moeilijk.

De nieuwe leesbaarheidstool van Henk Pander Maat en zijn collega’s gebruikt geen ERK-niveaus. ‘Wij vinden dat je een kader voor vreemde talen niet zomaar kunt omzetten naar moedertalen’, aldus de onderzoeker. ‘Met de niveaus die wij hanteren blijven we bovendien dichter bij het onderwijs.’ De tool onderscheidt vier niveaus, en brengt voor alle niveaus in kaart hoe een gemiddelde vmbo-, havo- of een vwo-leerling daarop scoort.

Vijf voorspellers

Die nauwe aansluiting bij het onderwijs hangt samen met het grote scholierenonderzoek dat eraan voorafging. In totaal deden 2900 middelbare scholieren van veertien en vijftien jaar mee. Zij kregen verschillende teksten voorgelegd die verschilden in moeilijkheidsgraad. De onderzoekers toetsten hun tekstbegrip met zogenaamde clozetests. Die bestaan uit teksten waaruit woorden zijn weggelaten, ook wel ‘gatenteksten’. Hoe meer woorden de scholier correct invult, hoe beter zijn tekstbegrip.

‘Dan staat er bijvoorbeeld: dit is een onbekend woord of een abstract woord.’

Vervolgens konden de onderzoekers nagaan welke tekstkenmerken goeie voorspellers waren van de begripsscores. Vijf kenmerken sprongen eruit: ten eerste de woordfrequentie. Als een tekst woorden bevat die in het dagelijks taalgebruik veel voorkomen, begrijpen leerlingen die tekst beter. Een tweede kenmerk is de informatiedichtheid in een deelzin. Pander Maat licht toe: ‘Als je veel bepalingen in een bijzin stopt, zijn dat eigenlijk allemaal minimededelingen. Dat maakt de tekst moeilijker.’

Dan is er nog de afhankelijkheidslengte die het lezen bemoeilijkt, zoals in een tangconstructie. Dat betekent dat delen van de zin die bij elkaar horen, ver uit elkaar staan. De woordconcreetheid speelt ook een rol bij tekstbegrip: concrete woorden bevorderen het leesbegrip, abstracte woorden maken het de lezer lastig. Tot slot zijn bijvoeglijk gebruikte voltooid deelwoorden ook een belemmering voor de leerlingen, zoals in ‘verkochte ijsjes’ en ‘overeengekomen niveaus’.

Woordlengte en zinslengte

Op basis van deze vijf ingrediënten bouwden de onderzoekers een leesbaarheidsformule, een algoritme dat de computer gebruikt om het leesniveau van de tekst te voorspellen. Ook bestaande leesbaarheidstools maken gebruik van zo’n algoritme. Alleen zijn ze allemaal gebaseerd op andere voorspellers, en dus delen ze een tekst allemaal verschillend in. Vaak zijn ze onbekend. ‘De ingrediënten van de algoritmes zijn bij commerciële bureaus geheim’, vertelt Pander Maat.

‘Woordlengte en zinslengte zijn de klassieke voorspellers. In de leesformules die bekend zijn, zoals Flesch-Douma en CLIB voor het basisonderwijs, spelen ze allebei een rol. Als wij woordlengte en zinslengte op onze data toepassen, dan komt er ook wel iets uit. Maar met de vijf voorspellers afkomstig uit ons leesbaarheidsonderzoek, kunnen we ongeveer vijfentwintig procent extra verklaren van de verschillen tussen teksten.’

Wel diagnose, geen remedie

De leesbaarheidstool deelt je tekst in op een van de vier tekstniveaus. Daarnaast vergelijkt het programma jouw tekstscore met een aantal Nederlandse tekstgenres. ‘We zeggen bijvoorbeeld: jouw woordfrequentie is 4,5 en die in een Nederlands krantenbericht is 4,2. Zo kun je je tekst plaatsen in een soort landschap dat gaat van heel moeilijke naar heel makkelijke teksten.’

‘Zo’n computer blijft een dom apparaat. Hij begrijpt niet wat er staat. Dat levert soms foutjes op.’

In de tekst zelf markeert het programma woorden en zinnen die een probleem vormen voor de leesbaarheid. Ook geeft het aanwijzingen ter verbetering: ‘Dan staat er bijvoorbeeld: dit is een onbekend woord of een abstract woord. Of: in deze zin staan deelzinnen met te veel informatie. Maar het blijft bij een diagnose, de tool biedt geen remedie.’

Een tool die niet alleen indicaties doet tot verbetering, maar je tekst zelf herschrijft, is nog verre toekomstmuziek volgens Pander Maat. ‘Zover zijn we nog niet, en het lijkt me ook een heel moeilijke taak om te automatiseren. Dat is wel de graal natuurlijk, maar een computer die echt overtuigend een tekst herschrijft, die heb ik nog niet gezien.’

Dom apparaat

En heeft de computer het nu altijd bij het rechte eind? Nee, geeft de onderzoeker toe, het gaat ook nog wel eens mis. ‘Zo’n computer blijft een dom apparaat. Hij begrijpt niet wat er staat. Dat levert soms foutjes op. Dan markeert hij een woord ten onrechte als abstract. En bij héél moeilijke zinnen, met veel bijzinnen bijvoorbeeld, raakt zelfs de computer weleens de draad kwijt.’

Een andere lacune in deze tool is dat hij minder geschikt is voor volwassenen. ‘We hebben een kleine verkenning gedaan met 450 proefpersonen met een gemiddelde leeftijd van veertig jaar. We hadden eigenlijk gehoopt dat zij op dezelfde tekstkenmerken zouden reageren als de scholieren, maar dat was niet het geval. Het lijkt erop dat volwassenen net als kinderen wel gevoelig zijn voor abstracte woorden, maar bijvoorbeeld niet schrikken van minder frequente woorden.’

Een leesbaarheidsformule ontwikkelen voor volwassenen staat dus nog op Pander Maats wensenlijstje. Maar voor nu is hij heel tevreden. ‘De enige echte onderzochte leesbaarheidsformule was CLIB in het basisonderwijs, dus we zijn qua leeftijd al behoorlijk opgeschoven. We kunnen meer zeggen dan voor die tijd. Dit is daarom voor een grote groep tekstschrijvers interessant. Niet alleen voor uitgevers van schoolboeken, maar ook bijvoorbeeld de overheid en de communicatiebranche.’