Heading

W poprzednim poście dotyczącym tendencyjnych pytań w ankietach, opisaliśmy jak złe pytania ankietowe (np. pytania prowadzące lub podwójne) mogą negatywnie wpłynąć na wyniki ankiety. W tym poście zajmiemy się inną główną przyczyną mylących danych ankietowych: tendencyjnością ankiet.

Bias definiuje się jako „skłonność do zmian temperamentu lub poglądów”. Pojęcie to często pojawia się w socjologii i psychologii, ponieważ jest kojarzone z uprzedzeniami lub faworyzowaniem.

W naszym kontekście badania opinii klientów, stronniczość ma mniej obciążające znaczenie: jest to „systematyczny błąd wprowadzony do próbkowania lub testowania poprzez wybór lub zachęcanie do wyboru jednego wyniku lub odpowiedzi zamiast innych”. Ta „zachęta” w kierunku określonego wyniku prowadzi do tendencyjności ankiety, gdzie możesz uzyskać tylko jeden rodzaj perspektywy klienta, lub perspektywę niedokładną.

Istnieją dwa główne rodzaje tendencyjności ankiety klienta, których należy unikać, aby nie wpaść w pułapkę podejmowania decyzji biznesowych na podstawie wypaczonych wyników ankiety:

• Bias selekcyjny, gdzie wyniki są wypaczone w określony sposób, ponieważ zebrałeś informacje zwrotne tylko od określonego segmentu odbiorców.
• Bias związany z odpowiedzią, kiedy coś w konstrukcji kwestionariusza ankiety zachęca do udzielenia określonego typu odpowiedzi, co prowadzi do błędu pomiaru.

Zacznijmy od przyjrzenia się trzem głównym typom błędów selekcji, które mogą wpłynąć na wyniki, a mianowicie: błąd próbkowania, błąd braku odpowiedzi i błąd przetrwania.

Biust próbkowania: Uzyskanie pełnej reprezentacji

W przypadku każdego rodzaju badań ankietowych, celem jest uzyskanie informacji zwrotnej od osób, które reprezentują grupę odbiorców, na której Ci zależy – lub, w terminologii statystycznej, Twoja „próba”. Nieobiektywność próby występuje wtedy, gdy zbierasz opinie tylko od określonej części swojej publiczności, ignorując wszystkich innych. Często dzieje się tak dlatego, że jakiś segment klientów został pominięty w procesie ankiety i nie został zaproszony do wzięcia udziału w badaniu.

Przedsiębiorstwo oferujące oprogramowanie jako usługę (SaaS) ma prawdopodobnie wielu użytkowników, z których każdy wchodzi w interakcję z produktem w inny sposób – powiedzmy, analityk, który loguje się codziennie, aby wykonać taktyczną pracę, menedżer, który sprawdza postępy i monitoruje wyniki oraz dyrektor, który płaci rachunki i jest na haku, aby udowodnić zwrot z inwestycji (ROI). W zależności od tego, jak dystrybuujesz ankiety (jak często i jakim kanałem), możesz otrzymać informacje zwrotne tylko od podzbioru swojej bazy klientów, stąd błąd próbkowania.

Tak samo jest w handlu detalicznym. Jeśli masz klientów, którzy kupują od Ciebie online i osobiście, ale wysyłasz ankiety tylko do bazy klientów online, brakuje Ci informacji zwrotnej od tych, którzy dokonali zakupu w sklepie. Twoje wyniki będą zawierały błąd doboru próby.

Czasami odfiltrowanie określonej grupy osób z ankiety jest celowe. Na przykład, możesz szukać bardzo konkretnych informacji zwrotnych na temat nowej funkcji oprogramowania i potrzebujesz danych od zaawansowanych użytkowników. Albo próbujesz poprawić doświadczenia związane z handlem elektronicznym, więc chcesz uzyskać informacje zwrotne tylko od tych, którzy przeszli przez cały proces zakupu online.

Jeśli tak się stało, w raporcie z badania ważne jest, abyś zastrzegł, że Twoje wyniki odzwierciedlają perspektywę jakiejś populacji i w jaki sposób jest to zgodne z celami badania.

Jak zredukować błąd doboru próby

Aby zredukować błąd doboru próby, być może będziesz musiał cofnąć się o kilka kroków i upewnić się, że proces projektowania ankiety nie pominął nikogo.

Oto kilka kroków, które warto wykonać:

1. Zdobądź informacje zwrotne na temat tego, czego oczekujesz, kto będzie w stanie udzielić informacji zwrotnej i w jaki sposób ją uzyskasz. Wyznaczenie głównych punktów styku z klientem dla każdej z Twoich person jest świetnym sposobem na rozpoczęcie.
2. Pewność, że metoda dystrybucji ankiety i czas jej przeprowadzenia mają sens dla tych klientów. Czy lepiej sprawdzi się ankieta mailowa czy ankieta internetowa w aplikacji? Dla użytkowników zaawansowanych ankieta in-app jest prawdopodobnie pewniakiem, podczas gdy ankieta e-mailowa po kwartalnej prezentacji biznesowej może być bardziej użyteczna dla kogoś na poziomie dyrektora lub menedżera.

Gdy już wiesz dokładnie, kto otrzyma Twoją ankietę i jak ją wyślesz, Twoim następnym zadaniem będzie nakłonienie ludzi do odpowiedzi.

Non-response bias: Pozyskanie respondentów

Nawet jeśli uwzględniłeś w ankiecie całą swoją podstawową grupę odbiorców, nie ma gwarancji, że odpowiedzą oni na Twoją ankietę.

Na przykład, nieaktywni użytkownicy lub osoby, które kupiły Twój produkt bardzo dawno temu, są prawdopodobnie mniej skłonne do odpowiedzi, ponieważ nie pamiętają dokładnie swoich doświadczeń. Mogą również nie mieć żadnych pomocnych informacji zwrotnych, które mogliby przekazać. Z drugiej strony, osoby, które zainwestowały dużo w Twój biznes i często korzystają z Twoich usług, prawdopodobnie odpowiedzą na ankietę z większym prawdopodobieństwem i będą miały do przekazania informacje zwrotne wyższej jakości.

Ważną rzeczą, o której należy pamiętać, jest to, na ile osoby, które odpowiedziały na ankietę, są reprezentatywne dla grupy odbiorców, na których Ci zależy. Jeśli Twój wskaźnik odpowiedzi na ankietę jest niski, ale są w niej głosy wszystkich kluczowych interesariuszy, może być dla Ciebie mniej ważne, aby spróbować zwiększyć liczbę osób, które odpowiadają na ankietę. Jeśli jednak przyjrzysz się rozkładowi odpowiedzi i okaże się, że odpowiadają tylko użytkownicy określonego produktu, grupy wiekowej lub płci, spróbuj zwiększyć odsetek odpowiedzi w tych obszarach, aby uzupełnić informacje zwrotne.

Strach przed reperkusjami może również powstrzymać ludzi przed udzieleniem odpowiedzi. Wyobraź sobie ankietę pracowniczą, w której pytasz o obciążenie pracą lub próbujesz uzyskać informacje zwrotne od bezpośrednich podwładnych. Jeśli organizacja nie określiła oczekiwań związanych z anonimowością, pracownicy z negatywnymi opiniami mogą w ogóle nie odpowiedzieć.

Jak zredukować błąd braku odpowiedzi

Jeśli nie otrzymujesz potrzebnych informacji zwrotnych, istnieje wiele sposobów, aby zwiększyć odsetek odpowiedzi na ankietę przy jednoczesnym utrzymaniu wysokiej jakości informacji zwrotnej. Podobnie jak w przypadku redukcji błędu doboru próby, możesz stracić informacje zwrotne tylko dlatego, że Twoja metoda dystrybucji lub czas wypełniania ankiety są niewłaściwe.

Oto kilka naszych najlepszych wskazówek, które warto wypróbować:

• Dostosuj czas wypełniania ankiety do rodzaju informacji zwrotnej, którą chcesz uzyskać. Na przykład, poproś o opinię na temat obsługi klienta zaraz po rozwiązaniu problemu.
• Dbaj o to, aby ankieta była krótka (i daj ludziom do zrozumienia, że jest krótka), dzięki czemu będą bardziej skłonni do wzięcia w niej udziału.
• Spróbuj różnych metod dystrybucji ankiety (email, strona www, link lub SMS) i upewnij się, że stosujesz najlepsze praktyki dla każdej z metod dystrybucji.
• W przypadku bardziej wrażliwych tematów, daj ludziom do zrozumienia, że ankieta jest anonimowa i nie będzie żadnych reperkusji w związku z ich odpowiedziami.

Aby uzyskać pełną listę taktyk, sprawdź ten przewodnik na temat zwiększania odsetka odpowiedzi w ankietach.

Przeżycie błędu próbkowania: Uzyskanie drugiej opinii

Survivorship bias ma miejsce, gdy Twoja ankieta jest ograniczona do klientów, kontrahentów i pracowników, którzy pozostali z Tobą przez dłuższy czas. Jak możesz sobie wyobrazić, ich opinie mogą się bardzo różnić od opinii tych, którzy zrezygnowali lub opuścili Twoją firmę.

Nie zawsze jest możliwe dotarcie do tych utraconych kontaktów, ale możesz zyskać cenne dane, włączając tę próbę do bieżącej ankiety.

Jak ograniczyć zjawisko survivorship bias

Podążaj za klientami, którzy zrezygnowali z firmy i pracownikami, którzy zamierzają ją opuścić, przeprowadzając ankiety końcowe. Postaraj się zrozumieć ich powody, abyś mógł je uwzględnić w przyszłości. Ankiety utraty potencjalnych klientów, w których pytasz potencjalnych klientów, dlaczego nie stali się faktycznymi klientami, są kolejnym dobrym źródłem informacji zwrotnej dla rozwoju Twojej firmy.

Ponieważ omówiliśmy główne rodzaje błędów selekcji, które mogą wpływać na badania klientów, porozmawiajmy o błędach reakcji.

Aby było jasne, „błąd reakcji” nie jest przeciwieństwem „błędu braku reakcji”. Aby wyjaśnić, non-response bias koncentruje się na tym, co dzieje się, gdy osoby, które otrzymują ankietę, decydują się nie odpowiadać. Response bias dotyczy czynników społecznych lub konstruktów ankietowych, które mogą mieć wpływ na rzeczywistą jakość odpowiedzi udzielanych w ankiecie.

Acquiescence bias: Kiedy wszystko jest na „tak”

Choć zawsze jest cudownie usłyszeć, że jesteś niesamowity, czasami możesz się zastanawiać, czy to prawda. Jeśli wszystkie wyniki Twojej ankiety są pozytywne, może to być efektem zjawiska przyzwolenia lub „yes-man”.

Normy społeczne i zmęczenie ankietą to kilka czynników, które prowadzą do przyzwolenia. Łatwo jest powiedzieć „tak” z grzeczności, nawet jeśli jest to nieprawda. Jeśli nałożysz na to długą lub skomplikowaną ankietę, ludzie mogą być zmęczeni udzielaniem przemyślanych odpowiedzi i po prostu domyślą się pozytywnych odpowiedzi, aby przebrnąć przez pytania.

Zauważ, że te normy będą się różnić w zależności od kraju. W niektórych miejscach ludzie mogą unikać wystawiania zbyt surowych lub zbyt pozytywnych ocen i skłaniać się ku bardziej przeciętnym wynikom.

Na szczęście istnieją sposoby na zaprojektowanie kwestionariusza w taki sposób, aby uniknąć tendencyjności.

Jak zminimalizować tendencyjność przyzwolenia

Najlepszym sposobem na zminimalizowanie szansy na tendencyjność przyzwolenia jest użycie przemyślanych pytań i skal odpowiedzi, tak aby ułatwić klientom zaoferowanie ich wkładu bez poczucia, że odpowiedź, której oczekują, po prostu nie istnieje.

• Zmieniaj pytania i odpowiedzi oraz używaj pytań wielokrotnego wyboru oprócz pytań ze skalą. Oto zestawienie różnych typów pytań ankietowych, które możesz wykorzystać w swojej ankiecie.
• Nie używaj pytań naprowadzających, które zazwyczaj dyktują to, co chciałbyś usłyszeć, a nie to, jak ktoś może się faktycznie czuć.
• Unikaj pytań, które pozwalają tylko na odpowiedź „tak” lub „nie”, ponieważ nie zapewniają one wystarczającej ilości niuansów do wyboru dla ludzi.
• Używaj skali odpowiedzi, która nie nadaje się tak łatwo do przyzwolenia (na przykład: „Zdecydowanie nie, Prawdopodobnie nie, Nie wiem, Prawdopodobnie tak, Zdecydowanie tak”)
• Podczas międzynarodowych badań przy użyciu szablonowych ankiet CES, CSAT lub NPS, sprawdź, czy otwarte informacje zwrotne są zgodne z początkową oceną, aby sprawdzić, czy normy kulturowe mogą wpływać na wynik.

Krzywizna kolejności pytań: Dążenie do spójności

Krzywizna kolejności pytań, znana również jako efekt kolejności, może zniekształcać odpowiedzi w ankiecie poprzez „priming” i chęć ludzi do udzielania wewnętrznie spójnych odpowiedzi.

Na przykład, rozważ te dwa pytania:

• Jak bardzo jest Pan(i) zadowolony(a) ze swojego życia?
• Jak bardzo jest Pan(i) zadowolony(a) ze swojego małżeństwa?

Badania wykazały, że kiedy zadajesz najpierw bardziej szczegółowe pytanie o małżeństwo, wpływa to na to, jak ludzie odpowiadają na bardziej ogólne pytanie o to, jak bardzo są zadowoleni. Bardziej szczegółowe pytania nadają kontekst, a bardziej ogólne pytanie staje się podsumowaniem tego, jak ludzie czują się na podstawie wcześniej zadanych pytań. Jeśli odpowiedzą, że są szczęśliwi w swoim małżeństwie, jest również bardziej prawdopodobne, że powiedzą, że są szczęśliwi ogólnie, ze względu na chęć zachowania wewnętrznej spójności.

To dlatego, że ludzie pamiętają, jak odpowiadali na każde pytanie i chcą odpowiadać na wszystkie pytania w spójny sposób. Stwierdzono, że tendencyjność kolejności pytań występuje w szerokim wachlarzu scenariuszy. Więcej o przykładach i wpływie tendencyjności na kolejność pytań dowiesz się z tego artykułu.

Jak ograniczyć tendencyjność kolejności pytań

Cel Twojej ankiety może wpłynąć na to jak poradzisz sobie z tendencyjnością kolejności pytań. Oto kilka metod, które możesz wypróbować w zależności od sytuacji:

• Przetestuj ankietę mając na uwadze priming
• Dla badań satysfakcji, zacznij od ogólnego pytania, które mierzy całe doświadczenie, zanim zadasz szczegółowe pytania o każdą część doświadczenia
• Dla badań rynkowych, randomizuj kolejność pytań
• Pogrupuj pytania według tematu, ale randomizuj kolejność pytań w ramach tego tematu

Porządek opcji odpowiedzi/primacy bias: Kolejność odpowiedzi też ma znaczenie

Kolejność odpowiedzi na każde pytanie również ma wpływ na to, jak klienci zareagują na Twoją ankietę, szczególnie jeśli chodzi o pytania wielokrotnego wyboru. Istnieją dwa rodzaje tendencyjności: primacy bias i recency bias.

Primacy bias to sytuacja, w której ludzie wybierają kilka pierwszych opcji odpowiedzi, ponieważ mogli nie poświęcić czasu na przeczytanie wszystkich możliwości. Recency bias to sytuacja, w której ludzie wybierają ostatnią odpowiedź z listy, ponieważ ta ostatnia opcja jest „najnowszą”, a więc bardziej pamiętną odpowiedzią.

Jak uniknąć błędu kolejności odpowiedzi

Po pierwsze, pamiętaj, że błąd kolejności odpowiedzi dotyczy tylko pytań wielokrotnego wyboru. Nie chciałbyś randomizować kolejności odpowiedzi w pytaniach ze skalą ocen, gdzie kolejność sama w sobie coś znaczy. Byłoby to mylące i doprowadziłoby do niedokładnych odpowiedzi.

Istnieje kilka sposobów na uniknięcie błędu kolejności opcji odpowiedzi dla pytań wielokrotnego wyboru:

• Losowa kolejność opcji odpowiedzi
• Ograniczyć listę opcji odpowiedzi, ale zawrzeć opcję wolnej odpowiedzi, aby uchwycić wszelkie wybory, które mogły zostać pominięte

Social desirability/conformity bias: Czynnik fajności

Przyzwolenie wiąże się z odpowiadaniem „tak” lub twierdząco, natomiast uprzedzenie wynikające z pożądania społecznego oznacza, że ludzie odpowiadają na pytania w sposób, który ich zdaniem sprawi, że będą wyglądać dobrze (lub bardziej atrakcyjnie społecznie). Podporządkowują się akceptowalnym normom, co może prowadzić do wyolbrzymiania swoich nawyków, przekonań i osobistych preferencji.

Specyficznie, wybory dotyczące stylu życia, które są „złe” lub „niezdrowe” (jak picie, palenie, wyrażanie negatywnych emocji lub inne negatywne nawyki) mogą być przeinaczane. Odchodząc od tej ogólnej koncepcji, osoba może uniknąć rasistowskich, seksistowskich lub innych nietolerancyjnych skojarzeń, podając nieprawdziwe informacje w formularzu ankiety. Nie chcą być postrzegani w negatywny sposób.

Niektórzy ludzie mogą również wyolbrzymiać informacje demograficzne, takie jak dochód, wykształcenie lub inne czynniki społeczne lub styl życia, niezależnie od tego, czy ankieta jest anonimowa.

Jak zredukować social desirability bias

Tego typu pytania pojawiają się zazwyczaj na końcu ankiety, kiedy próbujesz dowiedzieć się więcej o demografii i psychografii klienta. Staranne formułowanie pytań i porównywanie odpowiedzi pod kątem spójności może pomóc Ci zidentyfikować i zredukować wpływ zjawiska „social desirability bias”.

• Zezwalaj na anonimowe odpowiedzi
• Dokładnie sprawdź, jak sformułowałeś pytania i odpowiedzi
• Używaj neutralnych pytań, które unikają uprzedzeń wynikających z preferencji społecznych
• Losowo wybieraj pytania z repozytorium możliwości
• Sprawdź odpowiedzi w odniesieniu do tego, co wiesz o swoich klientach dzięki poprzednim odpowiedziom lub istniejącym danym klientów

Podsumowanie

W każdą ankietę wkradają się uprzedzenia związane z wyborem i odpowiedziami, ale przestrzeganie najlepszych praktyk projektowania ankiet może zminimalizować ich efekt. Może nie być możliwe usunięcie wszystkich form błędów z każdej ankiety, ale koncentrując się na celu i stosując strategie, które skutecznie odnoszą się do najbardziej powszechnych sytuacji, powinieneś być w stanie uzyskać wyniki, których potrzebujesz.