nieuws

‘Goed PE-examen is als een zwangerschapstest’

Branche 2323

Strikvragen en figuurlijke uitdrukkingen zijn uit den boze in de vragen voor de PE-examens die het College Deskundigheid Financiële Dienstverlening maakt. Tijdens een netwerklunch van het Haags Verzekeringscentrum deden Estrella Schwalm en Jeffrey Derks van het CDFD uit de doeken wat er allemaal bij komt kijken voordat een vraag in de examenbank komt. Eén vraag maken duurt soms tot een half jaar. Uit de zaal klonk verbazing en gemor: “Jullie doen 6 maanden over een vraag en dan moeten wij er 20 in een uur maken?”

‘Goed PE-examen is als een zwangerschapstest’

Projectleider Schwalm en toetsdeskundige Derks van het CDFD legden woensdagmiddag uit hoe examenvragen voor PE-examens tot stand komen en hoe ze de kwaliteit van de examens waarborgen. Zo’n 25 leden van netwerkvereniging Haags Verzekeringscentrum waren voor deze lunchbijeenkomst naar Auberge De Kieviet in Wassenaar gekomen.

Psycholoog en toetsdeskundige Derks vergeleek een goed PE-examen met een zwangerschapstest. “Elke test heeft een meetfout, maar je wilt die zo klein mogelijk houden. Een zwangerschapstest is een heel betrouwbaar meetinstrument, maar ook die zit er in 1% van de gevallen naast. Je wilt dat zo min mogelijk mensen die niet zwanger zijn de uitslag ‘zwanger’ krijgen en dat zo min mogelijk zwangere vrouwen horen dat ze niet zwanger zijn. CDFD-examens hebben ook twee uitslagen: geslaagd en gezakt. We hopen dat de vakbekwame mensen slagen en de niet-vakbekwame mensen zakken. De false positives (geslaagd maar niet vakbewaam) en false negatives (gezakt maar wel vakbekwaam) proberen we zo klein mogelijk te houden.”

Gemiddeld 3 maanden om vraag te maken

Voor Derks’ uitleg had zijn collega Schwalm al geschetst hoe een examenvraag geschreven wordt: van het signaleren van ontwikkelingen in de markt en het formuleren van toetstermen tot het schrijven door een externe auteur en de daaropvolgende feedbackrondes door een toetsdeskundige, een vakdeskundige en een screener. “Gemiddeld doen we drie maanden over een vraag, maar er kan ook zes maanden zitten tussen de opdracht tot schrijven en de daadwerkelijke opname in de examenbank”, schetste Schwalm.

“Zes maanden”, klonk het daarop verbaasd uit de zaal.  “En wij moeten 20 vragen in een uur maken? Kunnen we daar geen anderhalf uur voor krijgen?” Derks legde uit dat soms tijdsdruk ook iets is wat je wilt meten. “Volgens de Commissie Examenontwikkeling en Kwaliteitsborging zijn wij heel schappelijk. Cito zit bijvoorbeeld veel krapper. Vanaf april gaan we trouwens meten hoeveel tijd mensen gebruiken voor het examen.”

Ondubbelzinnige formuleringen

Dat het formuleren en controleren van de examenvragen zo veel tijd in beslag neemt, komt door de hoge kwaliteitseisen die het CDFD eraan hangt, vertellen Schwalm en Derks. De vraag moet aansluiten bij de toetsterm, van het juiste niveau zijn en qua taal ondubbelzinnig. Schwalm: “Ooit gebruikten we de formulering ‘iemand zit in de put’. Er zijn kandidaten die dat niet kunnen duiden. Die zien letterlijk iemand in de put zitten.”

“Strikvragen zijn helemaal uit den boze”, vult Derks aan. “Leraren op de middelbare school vinden die misschien leuk, maar wij halen ze eruit. Wij vinden dat je daarmee het verkeerde toetst. Mensen die de stof wel snappen, doen zo’n vraag vaak fout, en mensen die de materie niet beheersen, kunnen ‘m zo maar goed beantwoorden.”

Antwoorden met de ogen dicht

Ook als een vraag eenmaal in de examenbank zit, wordt die nog veelvuldig geëvalueerd. Sowieso wordt jaarlijks gecontroleerd of de vragen nog actueel zijn of moeten worden aangepast aan gewijzigde regelgeving. Maar ook tussendoor wordt statistiek bedreven. Derks: “We willen consistente examens. Twee even goede adviseurs moeten ongeveer dezelfde score halen.”

Derks kijkt daarom heel nauwkeurig naar hoe kandidaten de vragen maken. Kiest 99% bij een bepaalde vraag het juiste antwoord? Dan betekent dat einde vraag: te makkelijk, de vraag toetst in feite niks. Ook vragen waarbij het juiste antwoord minder vaak wordt gegeven dan de gokkans (bijvoorbeeld 25% bij vier antwoordmogelijkheden), schrapt Derks. “Dat betekent dat een leek die de vraag met zijn ogen dicht invult, een grotere kans heeft op een goed antwoord dan een financieel adviseur. Dan is de vraag waarschijnlijk te moeilijk, wellicht door dubbelzinnigheden.”

Maximaal 2 vragen per casus

De aanwezigen bij de lunchbijeenkomst bleken vooral vragen lastig te vinden die doorvragen op een casus bij een eerdere vraag. “Door de antwoorden bij vraag 3 ga je twijfelen aan je eigen antwoord op de eerste vraag.” Volgens Derks moeten alle vragen in een PE-examen los van elkaar te beantwoorden zijn. Bovendien had hij goed nieuws voor de adviseurs. “Vanaf april worden bij één casus nog maximaal twee vragen gesteld.”

Periode van 2 of 3 jaar?

Tot slot wilde een deel van het publiek graag dat Schwalm en Derks ervoor gaan pleiten dat de komende PE-periode (1 april 2017 tot 1 april 2019) een jaar verlengd wordt. “De overgangsperiode is een jaar langer geworden zonder dat wij dat wilden en daardoor hebben we nu maar 2 jaar om aan onze 3-jarige PE-verplichting te voldoen. Zo beloon je de mensen die langzaam waren en straf je de mensen die gewoon op tijd hun examens hebben gehaald”, klonk het uit de zaal. Waarop een ander reageerde: “Heb je dan echt 2 jaar nodig voor een examen?”

Schwalm en Derks hielden zich hierover op de vlakte. De verlenging van de overgangsperiode is door de minister vastgesteld, maar de totale termijn van de PE Plus-periode (3 jaar) plus de eerste nieuwe PE-periode (2 jaar) is niet veranderd. “De termijnen hierna duren in ieder geval weer gewoon drie jaar.”

Reageer op dit artikel
Lees voordat u gaat reageren de spelregels

Reageren kan op twee manieren.

Meld uzelf als gebruiker aan, uw naam verschijnt dan automatisch bij de reacties.

Of vink de optie gast aan en reageer onder eigen naam of een schuilnaam. Inlog en wachtwoord zijn dan niet nodig. Het kan maximaal 1 minuut duren voordat uw reactie zichtbaar wordt.

Een e-mailadres wordt altijd gevraagd maar nooit getoond.