6.2 Inhoud beoordeling COTAN
driepuntsschaal
De COTAN beoordeelt instrumenten aan de hand van zeven criteria: uitgangspunten van de testconstructie, kwaliteit van het testmateriaal, kwaliteit van de handleiding, normen, betrouwbaarheid, begripsvaliditeit en criteriumvaliditeit. Elk criterium wordt beoordeeld aan de hand van verschillende items, die zijn gewaardeerd op een driepuntsschaal (onvoldoende, voldoende en goed). De volledige richtlijnen voor beoordelingen staan op cotandocumentatie.nl.
Kwaliteitskeurmerk
COTAN-documentatie
De COTAN kent geen kwaliteitskeurmerken of certificaten toe aan instrumenten. Als een instrument opgenomen is in de COTAN-documentatie, betekent dit ook niet dat een instrument is ‘goedgekeurd’ door de COTAN. Het betekent enkel dat de test beoordeeld is door de COTAN. Een instrument in de COTAN-documentatie kan dus op alle criteria ‘onvoldoende’ scoren.
6.2.1 Uitgangspunten en kwaliteit
testmateriaal
Het criterium ‘uitgangspunten van de testconstructie’ is onder meer gericht op de kwaliteit van de informatie over het te meten onderwerp (bijvoorbeeld intelligentie), de doelgroep(en) waarvoor het instrument geschikt is, en de constructie en de inhoudsvaliditeit van de items. Dit geeft aan of het ontwerp van het instrument goed is onderbouwd. Het criterium ‘kwaliteit van het testmateriaal’ heeft betrekking op standaardisatie, objectiviteit van de scoring, formulering van de items en de lay-out. Het criterium ‘kwaliteit van de handleiding’ is onder meer gericht op de instructies voor de testafnemer, informatie over de interpretatie van de test en, voor instrumenten die via de computer worden afgenomen, informatie over de installatie van de software.
6.2.2 Normen van het instrument
normgroep
Bij selectie-instrumenten worden zelden ruwe scores gerapporteerd, in plaats daarvan zien kandidaten vaak hun score ten opzichte van een vergelijkingsgroep: de normgroep. Natuurlijk is het belangrijk dat deze vergelijkingsgroep relevant is voor de kandidaat en de testgebruiker. Het is bijvoorbeeld niet zinnig om de score, op een kennistest, van een accountant te vergelijken met een groep tieners.
normgericht
De beoordeling is gericht op de grootte van de normgroep(en), de representativiteit, de actualiteit, de overeenstemming tussen beoordelaars (dit is in specifieke gevallen aan de orde) en de kwaliteit van het onderzoek. Bij een zogenoemde normgerichte interpretatie (een vaak gekozen normeringsmethode) wordt een groepsgrootte van meer dan 400 personen als ‘goed’ beschouwd en minder dan 300 als ‘onvoldoende’ voor beslissingen met grote gevolgen (zoals personeelsselectie).
6.2.3 Betrouwbaarheid van het instrument
consistent en nauwkeurig
Betrouwbaarheid geeft aan hoe consistent en nauwkeurig een instrument meet. Voor het criterium ‘betrouwbaarheid’ kan een ontwikkelaar verschillende methoden van betrouwbaarheidsschatting gebruiken. De COTAN beoordeelt de grootte van de zogeheten coëfficiënten, de kwaliteit van de procedures, en de steekproeven in de betrouwbaarheidsstudies. Voor beslissingen met grote gevolgen (zoals personeelsselectie) worden coëfficiënten groter dan .90 als ‘goed’ beschouwd en coëfficiënten lager dan .80 als ‘onvoldoende’.
Bij deze waarden zijn meetfouten minimaal, dat wil zeggen de invloed van onnauwkeurigheden en toevallige factoren op de score.
6.2.4 Validiteit van het instrument
voorspellend
Begripsvaliditeit geeft aan of een test echt meet wat hij meent te meten, bijvoorbeeld of de test wel echt emotionele intelligentie meet, of eigenlijk gewoon vriendelijkheid. Criteriumvaliditeit geeft aan of de test voorspellend is voor toekomstige prestaties, dus of de score van een test gerelateerd is aan goede werkprestaties. Voor de criteria ‘begripsvaliditeit’ en ‘criteriumvaliditeit’ worden onder andere de grootte van de correlaties (of andere uitkomsten) en de kwaliteit van het onderzoek geëvalueerd. Voor het beoordelen van deze aspecten worden concrete richtlijnen verstrekt.