Heading

In un post precedente sulle domande di sondaggio distorte, abbiamo analizzato come le domande di sondaggio sbagliate (ad esempio, domande di punta o a doppia canna) possono influire negativamente sui risultati dei vostri sondaggi. In questo post, ci immergeremo nell’altra causa principale dei dati fuorvianti dei sondaggi: la distorsione dei sondaggi.

La distorsione è definita come “un’inclinazione del temperamento o della prospettiva”. Il concetto compare spesso in sociologia e psicologia, perché è associato al pregiudizio o al favoritismo.

Nel nostro contesto dei sondaggi di customer feedback, il bias ha un significato meno carico: è un “errore sistematico introdotto nel campionamento o nei test selezionando o incoraggiando un risultato o una risposta rispetto ad altri”. Questo “incoraggiamento” verso un risultato specifico è ciò che porta alla distorsione del sondaggio, dove si può ottenere solo un tipo di prospettiva del cliente, o una prospettiva imprecisa.

Ci sono due gruppi principali di distorsione del sondaggio clienti da evitare in modo da non cadere nella trappola di basare le decisioni aziendali sui risultati distorti del sondaggio:

• Distorsione di selezione, dove i risultati sono distorti in un certo modo perché avete catturato il feedback solo da un certo segmento del vostro pubblico.
• Bias di risposta, dove c’è qualcosa nel modo in cui il questionario del sondaggio è costruito che incoraggia un certo tipo di risposta, portando ad un errore di misurazione.

Iniziamo a guardare i tre principali tipi di bias di selezione che possono avere un impatto sui tuoi risultati, cioè bias di campionamento, bias di non risposta e bias di sopravvivenza.

Bias di campionamento: Ottenere una rappresentazione completa

Per qualsiasi tipo di sondaggio di ricerca, l’obiettivo è quello di ottenere un feedback da persone che rappresentano il pubblico che ti interessa – o, in termini statistici, il tuo “campione”. La distorsione del campionamento si verifica quando si ottiene un feedback solo da una porzione specifica del pubblico, ignorando tutti gli altri. Un’azienda di Software as a Service (SaaS) ha probabilmente più utenti che interagiscono con il prodotto in modo diverso – diciamo, l’analista che si collega ogni giorno per fare un lavoro tattico, il manager che controlla i progressi mentre monitora i risultati, e un direttore che paga le bollette ed è responsabile di dimostrare il ritorno sull’investimento (ROI). A seconda di come si distribuiscono i sondaggi (quanto spesso e attraverso quale canale), si potrebbe finire per avere un feedback solo da un sottoinsieme della vostra base di clienti, quindi, bias di campionamento.

Lo stesso è vero nello spazio retail. Se avete clienti che acquistano da voi online e di persona, ma inviate solo sondaggi via e-mail alla base clienti online, vi state perdendo il feedback di coloro che hanno acquistato in negozio. I vostri risultati conterranno una distorsione di campionamento.

A volte, filtrare un gruppo specifico di individui da un sondaggio è intenzionale. Per esempio, potreste essere alla ricerca di un feedback molto specifico su una nuova funzionalità del software, e avete bisogno di input dai vostri utenti esperti. Oppure, stai cercando di migliorare la tua esperienza di e-commerce, quindi vuoi davvero solo il feedback di coloro che hanno vissuto l’intera esperienza di acquisto online.

In questo caso, nel tuo report dell’indagine, è importante mettere in guardia i tuoi risultati indicando la prospettiva di quale popolazione i tuoi risultati riflettono, e come questo sia in linea con i tuoi obiettivi dell’indagine.

Come ridurre gli errori di campionamento

Per ridurre gli errori di campionamento, potresti aver bisogno di fare qualche passo indietro e assicurarti che il tuo processo di progettazione dell’indagine non abbia lasciato qualcuno fuori.

Questi sono un paio di passi da seguire:

1. Fai un buon controllo su cosa vorresti avere come feedback, chi sarebbe in grado di fornire tale feedback e come lo riceverai. Tracciare i principali punti di contatto del customer journey per ciascuna delle vostre personas di utenti è un ottimo modo per iniziare.
2. Assicuratevi che il metodo di distribuzione del sondaggio e i tempi del sondaggio abbiano senso per questi clienti. Funzionerà meglio un sondaggio via e-mail o un sondaggio web in-app? Per i tuoi utenti esperti, un sondaggio in-app è probabilmente una scommessa sicura, mentre un sondaggio via e-mail a seguito di una presentazione aziendale trimestrale potrebbe essere più utile per qualcuno a livello di direttore o di manager.

Una volta che sai esattamente chi riceverà il tuo sondaggio e come lo invierai, il tuo prossimo compito sarà quello di far rispondere le persone.

Pregiudizio di non risposta: Ottenere che le persone rispondano

Anche se hai incluso tutto il tuo pubblico principale nel tuo sondaggio, non c’è ancora alcuna garanzia che risponderanno al tuo sondaggio.

Per esempio, gli utenti inattivi o le persone che hanno acquistato il tuo prodotto molto tempo fa sono probabilmente meno propensi a rispondere poiché non hanno un forte ricordo della loro esperienza. Potrebbero anche non avere alcun feedback utile da fornire. D’altra parte, le persone che hanno investito molto nella vostra attività e usano spesso il vostro servizio sono probabilmente più propense a rispondere, e hanno un feedback di qualità superiore da condividere.

La cosa importante da tenere a mente è quanto siano rappresentativi quelli che hanno risposto del pubblico che vi interessa. Se il tasso di risposta al vostro sondaggio è basso, ma ci sono le voci di tutti i vostri stakeholder chiave, potrebbe essere meno importante per voi cercare di aumentare il numero di persone che rispondono al vostro sondaggio. Tuttavia, se date un’occhiata alla distribuzione delle risposte, e scoprite che solo gli utenti di un certo prodotto, gruppo di età o sesso stanno rispondendo, cercate di aumentare il tasso di risposta in quelle aree per completare il vostro feedback.

La paura di ripercussioni può anche impedire alle persone di rispondere. Immaginate un sondaggio sull’esperienza dei dipendenti in cui chiedete del carico di lavoro o cercate di ottenere un feedback manageriale dai rapporti diretti. Se l’organizzazione non ha impostato le aspettative sull’anonimato, i dipendenti con opinioni negative potrebbero non rispondere affatto.

Come ridurre il bias di non risposta

Se non stai ottenendo il feedback di cui hai bisogno, ci sono diversi modi per aumentare i tassi di risposta al sondaggio mantenendo alta la qualità del feedback. Simile alla soluzione per ridurre le distorsioni di campionamento, potresti perdere un feedback semplicemente perché il tuo metodo di distribuzione o i tempi dell’indagine non sono corretti.

Questi sono alcuni dei nostri migliori consigli da provare:

• Adatta i tempi dell’indagine al tipo di feedback che vorresti. Per esempio, chiedi un feedback al servizio clienti subito dopo che un problema è stato risolto.
• Mantieni il tuo sondaggio breve (e fai sapere alle persone che è breve) in modo che siano più propensi a partecipare al tuo sondaggio.
• Prova diversi metodi di distribuzione del sondaggio (email, web, link, o SMS), e assicurati di seguire le migliori pratiche per ogni tipo di metodo di distribuzione.
• Nel caso di argomenti più delicati, fai sapere ai partecipanti che il sondaggio è anonimo, e che non ci saranno ripercussioni sulle loro risposte.

Per una lista completa di tattiche, dai un’occhiata a questa guida su come aumentare i tassi di risposta ai sondaggi.

Survivorship sampling bias: Ottenere una seconda opinione

La distorsione da sopravvivenza si verifica quando il tuo sondaggio è limitato a clienti e dipendenti che sono rimasti con te nel tempo. Come puoi immaginare, il loro feedback può essere molto diverso dall’opinione di coloro che hanno cambiato idea o hanno lasciato la tua azienda.

Può non essere sempre possibile raggiungere quei contatti persi, ma potresti ottenere dati preziosi includendo quel campionamento nel tuo sondaggio attuale.

Come ridurre il survivorship bias

Segui i clienti e i dipendenti che hanno cambiato idea e che stanno per lasciare l’azienda con sondaggi di uscita. Cercate di capire le loro ragioni, in modo da poterne tenere conto in futuro. I sondaggi sulla perdita di clienti, in cui si chiede ai potenziali clienti perché non sono diventati clienti effettivi, sono un’altra buona fonte di feedback per far crescere il tuo business.

Ora che abbiamo esaminato i principali tipi di distorsioni di selezione che possono influenzare le tue indagini sui clienti, parliamo delle distorsioni di risposta.

Per essere chiari, le “distorsioni di risposta” non sono l’opposto delle “distorsioni di non risposta”. Per rivedere, il bias di non risposta si concentra su ciò che accade quando coloro che ricevono la vostra indagine scelgono di non rispondere. Il bias di risposta riguarda i costrutti della società o del sondaggio che possono avere un impatto sulla qualità effettiva delle risposte del sondaggio.

Il bias di risposta: Quando si tratta solo di “sì”

Mentre è sempre meraviglioso sentirsi dire che sei fantastico, a volte ci si può chiedere se è vero. Se tutti i risultati del tuo sondaggio sono positivi, potrebbe essere il risultato di un bias di acquiescenza, o il fenomeno dei “sì”.

Le norme sociali e la fatica del sondaggio sono un paio di fattori che portano al bias di acquiescenza. È facile dire “sì” per educazione, anche se non è vero. Se si sovrappone un sondaggio lungo o complicato, la gente potrebbe stancarsi di dare risposte ponderate, e solo per default dare risposte positive per superare le domande.

Nota che queste norme variano da paese a paese. In alcuni luoghi, la gente potrebbe evitare di dare valutazioni troppo dure o troppo positive, e tendere sempre verso punteggi più medi.

Per fortuna, ci sono alcuni modi per progettare il tuo questionario per evitare il bias di acquiescenza.

Come mitigare l’acquiescenza

Il modo migliore per ridurre al minimo la possibilità di acquiescenza è quello di usare domande e scale di risposta ben formulate, in modo da rendere facile per i vostri clienti offrire il loro contributo senza avere la sensazione che la risposta che vogliono non ci sia.

• Variate le vostre domande e risposte, e usate domande a scelta multipla in aggiunta alle domande a scala. Ecco un riepilogo dei diversi tipi di domande da utilizzare nel tuo sondaggio.
• Non usare domande guida, che di solito dettano ciò che vorresti sentire rispetto a come qualcuno potrebbe effettivamente sentirsi.
• Evitare le domande che consentono solo una risposta “sì” o “no”, poiché non forniscono abbastanza livelli di sfumature tra cui le persone possano scegliere.
• Usa una scala di risposta che non si presta facilmente a pregiudizi di acquiescenza (per esempio: “Sicuramente no, Probabilmente no, Non so, Probabilmente sì, Sicuramente sì”)
• Quando si fa un sondaggio a livello internazionale con sondaggi CES, CSAT, o NPS, controllate il feedback aperto rispetto alla valutazione iniziale per verificare se le norme culturali possono alterare il punteggio.

Piastre d’ordine delle domande: sforzarsi di essere coerenti

La distorsione d’ordine delle domande, nota anche come distorsione da effetti d’ordine, può distorcere le risposte al tuo sondaggio attraverso il “priming” e il desiderio delle persone di dare risposte internamente coerenti.

Per esempio, considera queste due domande:

• Quanto sei felice della tua vita in generale?
• Quanto sei felice del tuo matrimonio?

Gli studi hanno dimostrato che quando si pone prima la domanda più specifica sul matrimonio, questo influenza il modo in cui la gente risponde alla domanda più generale su quanto sono felici in generale. Le domande più specifiche creano un contesto, e la domanda più generale diventa un riassunto di come le persone si sentono in base alle domande precedenti. Se rispondono che sono felici nel loro matrimonio, è anche più probabile che dicano di essere felici in generale, a causa del desiderio di rimanere coerenti internamente.

Questo perché le persone ricordano come rispondono ad ogni domanda, e vogliono rispondere a tutte le domande in modo coerente. È stato riscontrato che la distorsione dell’ordine delle domande si verifica in una vasta gamma di scenari. Puoi saperne di più sugli esempi e sull’impatto della distorsione dell’ordine delle domande in questo articolo.

Come limitare la distorsione dell’ordine delle domande

L’obiettivo della tua indagine può influire su come gestire la distorsione dell’ordine delle domande. Ecco alcuni metodi da provare, a seconda della tua situazione:

• Testate il vostro sondaggio tenendo presente il priming
• Per i sondaggi sulla soddisfazione, iniziate con una domanda generale che misuri l’intera esperienza prima di fare domande specifiche su ogni parte dell’esperienza
• Per i sondaggi sulle ricerche di mercato, randomizzate l’ordine delle domande
• Raggruppate le domande per argomento, ma randomizzate l’ordine delle domande all’interno di quell’argomento

L’ordine delle opzioni di risposta/primacy bias: Anche l’ordine delle risposte conta

L’ordine delle tue risposte per ogni domanda fa anche la differenza nel modo in cui i clienti rispondono alla tua indagine, specialmente quando si tratta di domande a scelta multipla. Ci sono due tipi di distorsione dell’ordine in gioco: il primacy bias e il recency bias.

Primacy bias è quando le persone scelgono tra le prime opzioni di risposta, poiché potrebbero non aver avuto il tempo di leggere tutte le scelte. Il recency bias è in realtà quando le persone scelgono l’ultima risposta della lista, dato che l’ultima opzione è la risposta “più recente” e quindi più memorabile.

Come evitare il answer order bias

Prima di tutto, tieni presente che il answer order bias si applica solo alle domande a scelta multipla. Non vorresti randomizzare l’ordine di risposta di una domanda a scala di valutazione, dove l’ordine stesso significa qualcosa. Fare ciò sarebbe fonte di confusione e porterebbe a risposte imprecise.

Questi sono alcuni modi per evitare la distorsione dell’ordine delle opzioni di risposta nelle domande a scelta multipla:

• Randomizzare l’ordine delle opzioni di risposta
• Limitare la lista delle opzioni di risposta, ma includere un’opzione di risposta libera per catturare qualsiasi scelta che potrebbe essere sfuggita

Distorsione da desiderabilità sociale/conformità: Il fattore coolness

Mentre il bias di acquiescenza implica rispondere “sì” o in modo affermativo, il bias di desiderabilità sociale significa che le persone rispondono alle domande in un modo che pensano li farà sembrare buoni (o più socialmente attraenti). Si stanno conformando a norme accettabili, il che può portarli a esagerare sulle loro abitudini, credenze e preferenze personali.

Specificamente, le scelte di vita che sono “cattive” o “malsane” (come bere, fumare, espressioni di emozioni negative, o altre abitudini negative) possono essere travisate. Uscendo da questo concetto generale, però, una persona potrebbe evitare associazioni razziste, sessiste o altre associazioni intolleranti travisando se stessa nel modulo del sondaggio. Non vogliono essere percepiti in modo negativo.

Alcune persone possono anche esagerare le informazioni demografiche come il reddito, l’istruzione o altri fattori sociali o di stile di vita, indipendentemente dal fatto che il sondaggio sia anonimo.

Come ridurre il bias di desiderabilità sociale

Questi tipi di domande del sondaggio si presentano in genere alla fine del sondaggio per i clienti, quando si sta cercando di imparare di più sui dati demografici e psicografici dei clienti. Un’attenta formulazione delle domande e l’incrocio delle risposte per coerenza possono aiutarvi a identificare e ridurre l’impatto del bias di desiderabilità sociale.

• Permettere risposte anonime
• Rivedere attentamente come avete formulato le domande e le risposte
• Utilizzare domande neutre che evitino pregiudizi di desiderabilità sociale
• Selezionare casualmente le domande dall’archivio di possibilità
• Controlla le risposte rispetto a ciò che conosci dei tuoi clienti attraverso le risposte precedenti o i dati dei clienti esistenti

Sommario

La selezione e gli errori di risposta si insinuano in ogni situazione di sondaggio, ma seguire le migliori pratiche di progettazione dei sondaggi può ridurre al minimo il loro effetto. Potrebbe non essere possibile eliminare tutte le forme di distorsione da ogni sondaggio, ma concentrandosi attentamente sul proprio obiettivo e utilizzando strategie per affrontare efficacemente le situazioni di distorsione più diffuse, si dovrebbe essere in grado di ottenere i risultati di cui si ha bisogno.