Heading

In een eerdere post over bevooroordeelde enquêtevragen hebben we besproken hoe slechte enquêtevragen (bijv. leidende of dubbelzinnige vragen) een negatieve invloed kunnen hebben op uw enquêteresultaten. In dit bericht duiken we in de andere belangrijke oorzaak van misleidende enquêtegegevens: vooringenomenheid in enquêtes.

Bias wordt gedefinieerd als “een neiging van temperament of zienswijze”. Het concept komt vaak voor in de sociologie en psychologie, omdat het wordt geassocieerd met vooroordelen of vriendjespolitiek.

In onze context van klantfeedbackenquêtes heeft vooringenomenheid een minder beladen betekenis: het is een “systematische fout die wordt geïntroduceerd in steekproeven of tests door een uitkomst of antwoord te selecteren of aan te moedigen boven andere.” Die “aanmoediging” in de richting van een specifiek resultaat is wat leidt tot vooringenomenheid bij enquêtes, waarbij u mogelijk slechts één type klantperspectief krijgt, of een onnauwkeurig perspectief.

Er zijn twee hoofdcategorieën van vooringenomenheid bij klantenenquêtes die u moet vermijden, zodat u niet in de val loopt van het baseren van zakelijke beslissingen op scheve enquêteresultaten:

• Selectievooringenomenheid, waarbij de resultaten op een bepaalde manier scheefgetrokken zijn omdat u alleen feedback hebt verzameld van een bepaald segment van uw publiek.
• Response bias, waarbij er iets is aan de manier waarop de enquête is opgebouwd dat een bepaald type antwoord stimuleert, wat leidt tot meetfouten.

Laten we eerst eens kijken naar drie belangrijke soorten selectiebias die van invloed kunnen zijn op uw resultaten, namelijk sampling bias, non-response bias, en survivorship bias.

Sampling bias: Volledige vertegenwoordiging

Voor elk type enquête-onderzoek is het doel feedback te krijgen van mensen die het publiek vertegenwoordigen waar het om gaat – of, in statistische termen, uw “steekproef”. Steekproefvooringenomenheid treedt op wanneer u alleen feedback krijgt van een specifiek deel van uw publiek en alle anderen negeert.

Een SaaS-bedrijf (Software as a Service) heeft waarschijnlijk meerdere gebruikersprofielen die elk op een andere manier met het product omgaan – laten we zeggen, de analist die elke dag inlogt om tactisch werk te doen, de manager die de voortgang controleert en de resultaten bewaakt, en een directeur die de rekeningen betaalt en de return on investment (ROI) moet aantonen. Afhankelijk van de manier waarop je de enquêtes verspreidt (hoe vaak, via welk kanaal), zou je kunnen eindigen met feedback van slechts een deel van je klantenbestand, vandaar de steekproefvertekening.

Hetzelfde geldt voor de detailhandel. Als je klanten hebt die online en in de winkel bij je kopen, maar je stuurt alleen e-mailenquêtes naar de online klanten, mis je de feedback van degenen die in de winkel hebben gekocht. Uw resultaten zullen een steekproefvertekening bevatten.

Soms is het filteren van een specifieke groep personen uit een enquête opzettelijk. U kunt bijvoorbeeld op zoek zijn naar zeer specifieke feedback over een nieuwe softwarefunctie en input nodig hebben van uw topgebruikers. Of u probeert uw e-commerce-ervaring te verbeteren, dus u wilt eigenlijk alleen feedback van degenen die de volledige online aankoopervaring hebben doorlopen.

In dat geval is het belangrijk om in uw enquêteverslag een voorbehoud te maken bij uw bevindingen door aan te geven welk populatieperspectief uw bevindingen weerspiegelen en hoe dat in lijn is met uw enquêtedoelstellingen.

Hoe vooringenomenheid bij de steekproeftrekking te verminderen

Om vooringenomenheid bij de steekproeftrekking te verminderen, moet u misschien een paar stappen terug doen en ervoor zorgen dat u bij het ontwerpen van uw enquête niemand over het hoofd hebt gezien.

Hier volgen een paar stappen:

1. Geef een goede grip op waar u feedback over wilt hebben, wie die feedback zou kunnen geven en hoe u die feedback zult krijgen. Het uittekenen van de belangrijkste contactmomenten in het klanttraject voor elk van uw gebruikerspersonen is een goede manier om te beginnen.
2. Zorg ervoor dat de distributiemethode en timing van uw enquête zinvol zijn voor deze klanten. Zal een enquête per e-mail of een in-app webenquête beter werken? Voor uw power users is een in-app enquête waarschijnlijk een zekerheid, terwijl een e-mailenquête na een driemaandelijkse bedrijfspresentatie misschien meer bruikbaar is voor iemand op directeurs- of managersniveau.

Als u eenmaal precies weet wie uw enquête zal ontvangen en hoe u die enquêtes zult versturen, is het uw volgende taak om mensen aan het reageren te krijgen.

Non-respons bias: Mensen laten reageren

Zelfs als u uw hele kernpubliek in uw enquête hebt opgenomen, is er nog steeds geen garantie dat zij uw enquête zullen beantwoorden.

Zo zijn inactieve gebruikers of mensen die uw product al heel lang geleden hebben gekocht waarschijnlijk minder geneigd te reageren, omdat zij zich hun ervaring niet goed kunnen herinneren. Ze hebben misschien ook geen nuttige feedback te geven. Aan de andere kant zullen mensen die veel in uw bedrijf hebben geïnvesteerd en uw service vaak gebruiken, waarschijnlijk eerder reageren, en hebben zij feedback van hogere kwaliteit om te delen.

Het is belangrijk om in gedachten te houden hoe representatief de respondenten zijn voor het publiek waar het u om te doen is. Als de respons op uw enquête laag is, maar de stemmen van al uw belangrijkste belanghebbenden wel aanwezig zijn, is het misschien minder belangrijk voor u om te proberen het aantal mensen dat op uw enquête reageert te verhogen. Als u echter naar de verdeling van de reacties kijkt en merkt dat alleen gebruikers van een bepaald product, leeftijdsgroep of geslacht reageren, probeer dan uw responspercentage op die gebieden te verhogen om uw feedback te completeren.

Bang voor repercussie kan mensen er ook van weerhouden te reageren. Stelt u zich eens een medewerkersonderzoek voor waarin u vraagt naar de werkdruk of waarin u managerfeedback probeert te krijgen van uw directe ondergeschikten. Als de organisatie geen verwachtingen heeft opgesteld met betrekking tot anonimiteit, kan het zijn dat werknemers met negatieve meningen helemaal niet reageren.

Hoe vooringenomenheid bij non-respons te verminderen

Als u niet de feedback krijgt die u nodig hebt, zijn er meerdere manieren om de respons op enquêtes te verhogen en tegelijkertijd de kwaliteit van de feedback hoog te houden.

Hier volgen enkele van onze beste tips om te proberen:

• Aanpassen enquêtetijdstip op het type feedback dat u wilt. Vraag bijvoorbeeld om feedback van de klantenservice onmiddellijk nadat een probleem is opgelost.
• Houd uw enquête kort (en laat mensen weten dat het kort is), zodat ze eerder geneigd zullen zijn uw enquête in te vullen.
• Probeer verschillende methoden voor het distribueren van enquêtes (e-mail, web, link of sms) en zorg ervoor dat u de beste praktijken volgt voor elk type distributiemethode.
• In het geval van meer gevoelige onderwerpen, laat mensen weten dat de enquête anoniem is, en dat er geen gevolgen zullen zijn voor hun antwoorden.

Voor een volledige lijst van tactieken, bekijk deze gids over het verhogen van de respons op enquêtes.

Survivorship sampling bias: Een tweede mening krijgen

Survivorship bias treedt op wanneer uw enquête wordt beperkt tot klanten, cliënten en werknemers die in de loop der tijd bij u zijn gebleven. Zoals u zich kunt voorstellen, kan hun feedback sterk verschillen van de mening van degenen die zijn afgehaakt of uw bedrijf hebben verlaten.

Het is misschien niet altijd mogelijk om die verloren contacten te bereiken, maar u kunt waardevolle gegevens verkrijgen door die steekproef in uw huidige enquête op te nemen.

Hoe overlevingsvooringenomenheid te verminderen

Volg met exit-enquêtes de gesprekken met afgehaakte klanten en werknemers die het bedrijf gaan verlaten. Probeer hun redenen te begrijpen, zodat u er in de toekomst rekening mee kunt houden. Prospect verlies enquêtes, waarbij u potentiële klanten vraagt waarom ze geen echte klanten zijn geworden, zijn een andere goede bron van feedback om uw bedrijf te laten groeien.

Nu we de belangrijkste soorten selectiebias hebben doorgenomen die uw klantenenquêtes kunnen beïnvloeden, laten we het eens hebben over responsbias.

Voor alle duidelijkheid, “responsbias” is niet het tegenovergestelde van “non-response bias”. Ter verduidelijking, non-respons bias richt zich op wat er gebeurt als degenen die uw enquête ontvangen ervoor kiezen niet te antwoorden. Bij responsbias gaat het om maatschappelijke of enquêteconstructies die van invloed kunnen zijn op de feitelijke kwaliteit van de antwoorden in de enquête.

Acquiescence bias: Wanneer het allemaal om “ja” gaat

Hoewel het altijd geweldig is om te horen dat je geweldig bent, kun je je soms afvragen of dat wel waar is. Als al uw enquêteresultaten positief terugkomen, kan dat een gevolg zijn van berustingsvooringenomenheid, of het “ja-mannetjes”-fenomeen.

Sociale normen en enquêtemoeheid zijn een paar factoren die leiden tot berustingsvooringenomenheid. Het is gemakkelijk om uit beleefdheid “ja” te zeggen, zelfs als het niet waar is. Als je daar nog een lange of gecompliceerde enquête bovenop doet, kunnen mensen moe worden van het geven van doordachte antwoorden, en alleen maar positieve antwoorden geven om door de vragen heen te komen.

Merk op dat deze normen per land kunnen verschillen. Op sommige plaatsen geven mensen niet al te strenge of al te positieve waarderingen, maar neigen ze steeds meer naar gemiddelde scores.

Gelukkig genoeg zijn er manieren om je vragenlijst zo in te richten dat je instemmingsvooringenomenheid voorkomt.

Hoe u berustingsvooringenomenheid kunt tegengaan

De beste manier om de kans op berustingsvooringenomenheid te minimaliseren, is het gebruik van zorgvuldig geformuleerde vragen en antwoordschalen, zodat u het uw klanten gemakkelijk maakt om hun mening te geven zonder het gevoel te hebben dat het gewenste antwoord er gewoon niet bij zit.

• Varieerander uw vragen en antwoorden, en gebruik meerkeuzevragen naast schaalvragen. Hier volgt een overzicht van de verschillende soorten enquêtevragen die u in uw enquête kunt gebruiken.
• Gebruik geen leidende vragen, die meestal dicteren wat u wilt horen in plaats van hoe iemand zich werkelijk voelt.
• Vermijd vragen die alleen een “ja” of “nee” als antwoord toestaan, omdat ze niet genoeg nuanceringsniveaus bieden waaruit mensen kunnen kiezen.
• Gebruik een antwoordschaal die zich niet zo gemakkelijk leent voor instemmingsvooringenomenheid (bijvoorbeeld: “Zeker niet, Waarschijnlijk niet, Weet niet, Waarschijnlijk wel, Zeker wel”)
• Wanneer u internationaal enquêteert met sjablonen voor CES-, CSAT- of NPS-enquêtes, vergelijk dan de feedback op open vragen met de oorspronkelijke beoordeling om te controleren of culturele normen de score kunnen vertekenen.

Vertekening door volgorde van vragen: streven naar consistentie

Vertekening door volgorde van vragen, ook wel vertekening door volgorde-effecten genoemd, kan uw enquêtereacties vertekenen door “priming” en de wens die mensen hebben om intern consistente antwoorden te geven.

Zie bijvoorbeeld deze twee vragen:

• Hoe gelukkig bent u in het algemeen in uw leven?
• Hoe gelukkig bent u met uw huwelijk?

Uit onderzoek is gebleken dat wanneer u eerst de specifiekere vraag over het huwelijk stelt, dit van invloed is op hoe mensen antwoorden op de algemenere vraag over hoe gelukkig ze in het algemeen zijn. Specifiekere vragen geven context, en de meer algemene vraag wordt een samenvatting van hoe mensen zich voelen op basis van eerder gestelde vragen. Als ze antwoorden dat ze gelukkig zijn in hun huwelijk, zullen ze ook eerder zeggen dat ze in het algemeen gelukkig zijn, omdat ze intern consistent willen blijven

Dit komt omdat mensen onthouden hoe ze op elke vraag antwoorden, en ze willen op alle vragen op een consistente manier antwoorden. Het is gebleken dat de volgorde van de vragen in een groot aantal scenario’s wordt beïnvloed. In dit artikel vindt u meer informatie over voorbeelden en de gevolgen van vertekening door vraagvolgorde.

Hoe vertekening door vraagvolgorde te beperken

Het doel van uw enquête kan van invloed zijn op de manier waarop u met vertekening door vraagvolgorde omgaat. Hier volgen enkele methoden die u kunt proberen, afhankelijk van uw situatie:

• Test uw enquête met het oog op priming
• Voor tevredenheidsonderzoeken begint u met een algemene vraag die de gehele ervaring meet voordat u specifieke vragen stelt over elk deel van de ervaring
• Voor marktonderzoeken randomiseert u de volgorde van de vragen
• Groepeert u de vragen per onderwerp, maar randomiseert u de volgorde van de vragen binnen dat onderwerp

Voorkeursvolgorde voor antwoorden/primacy bias: De volgorde van antwoorden is ook van belang

De volgorde van uw antwoorden voor elke vraag maakt ook een verschil in hoe klanten op uw enquête reageren, vooral als het gaat om meerkeuzevragen. Er zijn twee soorten vooringenomenheid in het spel: primacy bias en recency bias.

Primacy bias is wanneer mensen kiezen uit de eerste paar antwoordopties, omdat ze misschien niet de tijd hebben genomen om alle keuzes door te lezen. Van recency bias is sprake als mensen het laatste antwoord in de lijst kiezen, omdat die laatste optie het “meest recente” en daardoor beter te onthouden antwoord is.

Hoe voorkom je antwoordvolgorde bias

Vooreerst moet je bedenken dat antwoordvolgorde bias alleen geldt voor meerkeuzevragen. U wilt de volgorde van de antwoorden niet willekeurig bepalen bij een vraag met een waarderingsschaal, waarbij de volgorde zelf iets betekent. Dat zou verwarrend zijn en tot onnauwkeurige antwoorden leiden.

Hier volgen enkele manieren om de volgorde van antwoordopties bij meerkeuzevragen te vermijden:

• Randomiseer de volgorde van de antwoordopties
• Beperk uw lijst met antwoordopties, maar voeg een vrije antwoordoptie toe om eventuele gemiste keuzes op te vangen

Sociale wenselijkheid/conformiteitsvooroordeel: De coolheidsfactor

Terwijl berustingsvooringenomenheid inhoudt dat men “ja” of bevestigend antwoordt, houdt sociale wenselijkheidvooringenomenheid in dat mensen vragen beantwoorden op een manier waarvan ze denken dat ze er goed (of sociaal aantrekkelijker) door overkomen. Ze conformeren zich aan aanvaardbare normen, wat ertoe kan leiden dat ze overdrijven over hun gewoonten, overtuigingen en persoonlijke voorkeuren.

Specifiek kunnen keuzes in levensstijl die “slecht” of “ongezond” zijn (zoals drinken, roken, uitingen van negatieve emoties, of andere negatieve gewoonten) verkeerd worden voorgesteld. Uitgaande van dat algemene concept kan iemand echter racistische, seksistische of andere intolerante associaties vermijden door zichzelf verkeerd voor te stellen op het enquêteformulier. Ze willen niet op een negatieve manier worden gepercipieerd.

Sommige mensen kunnen ook demografische informatie overdrijven, zoals inkomen, opleiding, of andere sociale of levensstijlfactoren, ongeacht of de enquête anoniem is.

Hoe sociale wenselijkheidsvooringenomenheid te verminderen

Dit soort enquêtevragen komt meestal aan het eind van de klantenenquête, wanneer u probeert meer te weten te komen over de demografische en psychografische kenmerken van de klant. Een zorgvuldige vraagformulering en kruisverwijzingen van antwoorden voor consistentie kunnen u helpen bij het identificeren en verminderen van de invloed van sociale wenselijkheid bias.

• Maak anonieme antwoorden mogelijk
• Benieuwd hoe u uw vragen en antwoorden hebt geformuleerd
• Gebruik neutrale vragen die vooringenomenheid door sociale wenselijkheid vermijden
• Selecteer willekeurig vragen uit de verzameling van mogelijkheden
• Controleer de antwoorden aan de hand van wat u over uw klanten weet via eerdere antwoorden of uw bestaande klantgegevens

Samenvatting

Selectie- en antwoordvooringenomenheid sluipen in elke enquêtesituatie, maar als u de beste praktijken volgt bij het ontwerpen van enquêtes, kunt u het effect ervan minimaliseren. Het is misschien niet mogelijk om alle vormen van vooringenomenheid uit elke enquête te verwijderen, maar door u zorgvuldig op uw doel te richten en strategieën te gebruiken om de meest voorkomende situaties met vooringenomenheid in enquêtes effectief aan te pakken, zou u in staat moeten zijn om de resultaten te krijgen die u nodig hebt.