Heading

In einem früheren Beitrag über verzerrte Umfragefragen sind wir darauf eingegangen, wie schlechte Umfragefragen (z. B. Leitfragen oder doppelte Fragen) Ihre Umfrageergebnisse negativ beeinflussen können. In diesem Beitrag tauchen wir in die andere Hauptursache für irreführende Umfragedaten ein: Voreingenommenheit.

Voreingenommenheit ist definiert als „eine Neigung des Temperaments oder der Einstellung“. Der Begriff taucht häufig in der Soziologie und Psychologie auf, weil er mit Vorurteilen oder Bevorzugung in Verbindung gebracht wird.

In unserem Kontext der Kundenfeedback-Umfragen hat Voreingenommenheit eine weniger belastende Bedeutung: Es ist ein „systematischer Fehler, der in Stichproben oder Tests eingeführt wird, indem ein Ergebnis oder eine Antwort gegenüber anderen ausgewählt oder gefördert wird.“ Diese „Ermutigung“ zu einem bestimmten Ergebnis führt zu einer Verzerrung der Umfrage, bei der Sie möglicherweise nur eine Art von Kundenperspektive oder eine ungenaue Perspektive erhalten.

Es gibt zwei Hauptbereiche von Verzerrungen bei Kundenumfragen, die Sie vermeiden sollten, damit Sie nicht in die Falle tappen, Geschäftsentscheidungen auf verzerrten Umfrageergebnissen aufzubauen:

• Auswahlverzerrung, bei der die Ergebnisse auf eine bestimmte Weise verzerrt sind, weil Sie nur Feedback von einem bestimmten Segment Ihrer Zielgruppe erfasst haben.
• Antwortverzerrung, bei der der Aufbau des Fragebogens eine bestimmte Art von Antworten begünstigt, was zu Messfehlern führt.

Beginnen wir mit der Betrachtung der drei Haupttypen von Auswahlverzerrungen, die Ihre Ergebnisse beeinflussen können, nämlich Stichprobenverzerrung, Non-Response-Bias und Survivorship-Bias.

Stichprobenverzerrung: Vollständige Repräsentation

Bei jeder Art von Umfrage ist es das Ziel, Feedback von Personen zu erhalten, die die Zielgruppe repräsentieren, um die es Ihnen geht – oder, in statistischen Begriffen, Ihre „Stichprobe“. Stichprobenverzerrungen treten auf, wenn Sie nur Feedback von einem bestimmten Teil Ihrer Zielgruppe erhalten und alle anderen ignorieren.

Ein Software-as-a-Service (SaaS)-Unternehmen hat wahrscheinlich mehrere Benutzer-Personas, die jeweils auf unterschiedliche Weise mit dem Produkt interagieren – sagen wir, der Analyst, der sich jeden Tag einloggt, um taktische Arbeit zu erledigen, der Manager, der den Fortschritt überprüft, während er die Ergebnisse überwacht, und ein Direktor, der die Rechnungen bezahlt und für den Nachweis des Return on Investment (ROI) verantwortlich ist. Je nachdem, wie Sie die Umfragen verteilen (wie oft und über welchen Kanal), könnten Sie am Ende nur das Feedback einer Teilmenge Ihres Kundenstamms erhalten, daher die Stichprobenverzerrung.

Das Gleiche gilt für den Einzelhandel. Wenn Sie Kunden haben, die sowohl online als auch persönlich bei Ihnen einkaufen, aber nur E-Mail-Umfragen an den Online-Kundenstamm senden, entgeht Ihnen das Feedback derjenigen, die im Laden gekauft haben. Ihre Ergebnisse werden eine Stichprobenverzerrung enthalten.

Manchmal ist das Herausfiltern einer bestimmten Personengruppe aus einer Umfrage beabsichtigt. Zum Beispiel könnten Sie nach sehr spezifischem Feedback zu einer neuen Softwarefunktion suchen und brauchen Input von Ihren Power-Usern. Oder Sie versuchen, Ihr E-Commerce-Erlebnis zu verbessern, und wollen daher wirklich nur Feedback von denjenigen, die den gesamten Online-Einkaufsvorgang durchlaufen haben.

Wenn das der Fall ist, ist es wichtig, in Ihrem Umfragebericht einen Vorbehalt anzubringen, indem Sie angeben, welche Bevölkerungsperspektive Ihre Ergebnisse widerspiegeln und wie diese mit Ihren Umfragezielen in Einklang stehen.

Wie Sie Stichprobenverzerrungen reduzieren

Um Stichprobenverzerrungen zu reduzieren, müssen Sie möglicherweise ein paar Schritte zurückgehen und sicherstellen, dass Ihr Umfrageentwurfsprozess niemanden ausgelassen hat.

Hier sind einige Schritte, die Sie befolgen sollten:

1. Machen Sie sich klar, wozu Sie Feedback haben möchten, wer dieses Feedback geben könnte und wie Sie dieses Feedback erhalten werden. Das Aufzeichnen der wichtigsten Customer Journey Touchpoints für jede Ihrer User Personas ist ein guter Anfang.
2. Stellen Sie sicher, dass Ihre Umfrageverteilungsmethode und der Umfragezeitpunkt für diese Kunden sinnvoll sind. Ist eine E-Mail-Umfrage oder eine In-App-Webumfrage besser geeignet? Für Ihre Power-User ist eine In-App-Umfrage wahrscheinlich eine sichere Sache, während eine E-Mail-Umfrage im Anschluss an eine vierteljährliche Geschäftspräsentation für jemanden auf Geschäftsführer- oder Manager-Ebene besser geeignet ist.

Sobald Sie genau wissen, wer Ihre Umfrage erhalten wird und wie Sie diese Umfragen versenden werden, besteht Ihre nächste Aufgabe darin, die Leute zum Antworten zu bewegen.

Non-Response-Bias: Leute zum Antworten bringen

Selbst wenn Sie Ihre gesamte Kernzielgruppe in Ihre Umfrage einbezogen haben, gibt es immer noch keine Garantie dafür, dass sie Ihre Umfrage beantworten werden.

Zum Beispiel sind inaktive Benutzer oder Personen, die Ihr Produkt vor sehr langer Zeit gekauft haben, wahrscheinlich weniger geneigt zu antworten, da sie keine starke Erinnerung an ihre Erfahrung haben. Möglicherweise haben sie auch kein hilfreiches Feedback zu geben. Andererseits werden Leute, die viel in Ihr Unternehmen investiert haben und Ihren Service häufig nutzen, wahrscheinlich eher antworten und qualitativ hochwertigeres Feedback geben können.

Das Wichtigste, was Sie im Auge behalten müssen, ist, wie repräsentativ diejenigen, die geantwortet haben, für die Zielgruppe sind, die Ihnen wichtig ist. Wenn Ihre Umfragebeantwortungsrate niedrig ist, aber die Stimmen aller Ihrer wichtigsten Stakeholder vorhanden sind, ist es vielleicht weniger wichtig für Sie, zu versuchen, die Anzahl der Personen zu erhöhen, die auf Ihre Umfrage antworten. Wenn Sie jedoch einen Blick auf die Verteilung der Beantwortungen werfen und feststellen, dass nur Nutzer eines bestimmten Produkts, einer bestimmten Altersgruppe oder eines bestimmten Geschlechts antworten, sollten Sie versuchen, die Beantwortungsrate in diesen Bereichen zu erhöhen, um Ihr Feedback abzurunden.

Auch die Angst vor Konsequenzen kann Menschen davon abhalten zu antworten. Stellen Sie sich eine Mitarbeiterbefragung vor, in der Sie nach der Arbeitsbelastung fragen oder versuchen, Feedback von direkten Vorgesetzten zu bekommen. Wenn das Unternehmen keine Erwartungen an die Anonymität gesetzt hat, antworten Mitarbeiter mit negativen Meinungen vielleicht gar nicht.

Wie Sie Non-Response-Bias reduzieren

Wenn Sie nicht das gewünschte Feedback erhalten, gibt es mehrere Möglichkeiten, die Antwortraten der Umfrage zu erhöhen und gleichzeitig die Qualität des Feedbacks hoch zu halten. Ähnlich wie bei der Reduzierung von Stichprobenverzerrungen kann es sein, dass Ihnen Feedback entgeht, weil Ihre Verteilungsmethode oder das Umfrage-Timing nicht stimmt.

Hier sind einige unserer Top-Tipps, die Sie ausprobieren sollten:

• Passen Sie das Umfrage-Timing an die Art von Feedback an, die Sie wünschen. Bitten Sie z. B. den Kundenservice um Feedback, sobald ein Problem gelöst wurde.
• Halten Sie Ihre Umfrage kurz (und lassen Sie die Teilnehmer wissen, dass sie kurz ist), damit sie eher an der Umfrage teilnehmen.
• Versuchen Sie verschiedene Verteilungsmethoden für die Umfrage (E-Mail, Web, Link oder SMS) und stellen Sie sicher, dass Sie die Best Practices für jede Art der Verteilungsmethode befolgen.
• Bei sensibleren Themen sollten Sie die Teilnehmer darauf hinweisen, dass die Umfrage anonym ist und keine Auswirkungen auf ihre Antworten hat.

Für eine vollständige Liste von Taktiken lesen Sie diesen Leitfaden zur Steigerung der Beantwortungsraten von Umfragen.

Stichprobenverzerrung überleben: Eine zweite Meinung einholen

Survivorship Bias tritt auf, wenn Ihre Umfrage auf Kunden, Klienten und Mitarbeiter beschränkt ist, die Ihnen über einen längeren Zeitraum treu geblieben sind. Wie Sie sich vorstellen können, kann sich deren Feedback stark von der Meinung derjenigen unterscheiden, die Ihr Unternehmen verlassen haben.

Es ist vielleicht nicht immer möglich, diese verlorenen Kontakte zu erreichen, aber Sie könnten wertvolle Daten gewinnen, indem Sie diese Stichprobe in Ihre aktuelle Umfrage einbeziehen.

Wie Sie den Survivorship Bias reduzieren

Fassen Sie bei abgewanderten Kunden und Mitarbeitern, die das Unternehmen verlassen werden, mit Austrittsumfragen nach. Versuchen Sie, ihre Gründe zu verstehen, damit Sie sie in Zukunft berücksichtigen können. Umfragen zum Verlust von potenziellen Kunden, bei denen Sie potenzielle Kunden fragen, warum sie nicht zu tatsächlichen Kunden geworden sind, sind eine weitere gute Quelle für Feedback zum Wachstum Ihres Unternehmens.

Nachdem wir nun die wichtigsten Arten von Selektionsverzerrungen, die Ihre Kundenumfragen beeinflussen können, durchgesprochen haben, lassen Sie uns über Antwortverzerrungen sprechen.

Zur Klarstellung: „Antwortverzerrungen“ sind nicht das Gegenteil von „Non-Response-Bias“. Um es noch einmal zu sagen: Non-Response-Bias konzentriert sich darauf, was passiert, wenn diejenigen, die Ihre Umfrage erhalten, sich entscheiden, nicht zu antworten. Beim Response Bias geht es um gesellschaftliche oder Umfragekonstrukte, die die tatsächliche Qualität der Umfrageantworten beeinflussen können.

Acquiescence Bias: Wenn alles auf „Ja“ hinausläuft

Es ist zwar immer schön zu hören, dass man toll ist, aber manchmal fragt man sich, ob das auch wirklich stimmt. Wenn alle Ihre Umfrageergebnisse positiv ausfallen, könnte das ein Ergebnis von „acquiescence bias“ oder dem „Ja-Sager“-Phänomen sein.

Gesellschaftliche Normen und Umfragemüdigkeit sind ein paar Faktoren, die zu „acquiescence bias“ führen. Es ist leicht, aus Höflichkeit „Ja“ zu sagen, auch wenn es nicht stimmt. Wenn Sie eine lange oder komplizierte Umfrage darauf stapeln, könnten die Leute müde werden, durchdachte Antworten zu geben, und nur noch positive Antworten geben, um durch die Fragen zu kommen.

Beachten Sie, dass diese Normen von Land zu Land unterschiedlich sind. An manchen Orten vermeiden es die Leute vielleicht, zu harte oder zu positive Bewertungen abzugeben, und tendieren eher zu Durchschnittswerten.

Glücklicherweise gibt es einige Möglichkeiten, Ihren Fragebogen so zu gestalten, dass eine Verzerrung der Zustimmung vermieden wird.

Wie Sie den Acaciescence Bias abmildern

Die beste Möglichkeit, das Risiko eines Acaciescence Bias zu minimieren, ist die Verwendung von durchdacht formulierten Fragen und Antwortskalen, so dass Sie es Ihren Kunden leicht machen, ihre Eingaben zu machen, ohne das Gefühl zu haben, dass die gewünschte Antwort einfach nicht dabei ist.

• Variieren Sie Ihre Fragen und Antworten und verwenden Sie Multiple-Choice-Fragen zusätzlich zu Skalenfragen. Hier finden Sie eine Übersicht über die verschiedenen Arten von Fragen, die Sie in Ihrer Umfrage verwenden können.
• Verwenden Sie keine Suggestivfragen, die Ihnen in der Regel vorschreiben, was Sie hören möchten, und nicht, was jemand tatsächlich empfindet.
• Vermeiden Sie Fragen, die nur eine „Ja“- oder „Nein“-Antwort zulassen, da sie nicht genügend Abstufungen bieten, aus denen die Leute wählen können.
• Verwenden Sie eine Antwortskala, die nicht so leicht zu einer Verzerrung durch Zustimmung führt (z. B.: „Definitely will not“, „Probably will not“, „Don’t know“, „Probably will“, „Definitely will“)
• Wenn Sie internationale Umfragen mit vorgefertigten CES-, CSAT- oder NPS-Umfragen durchführen, vergleichen Sie das offene Feedback mit der ursprünglichen Bewertung, um zu prüfen, ob kulturelle Normen das Ergebnis verzerren können.

Question order bias: Striving for consistency

Question order bias, auch bekannt als order-effects bias, kann Ihre Umfrageantworten durch „Priming“ und den Wunsch der Menschen, intern konsistente Antworten zu geben, verzerren.

Betrachten Sie zum Beispiel diese beiden Fragen:

• Wie glücklich sind Sie in Ihrem Leben insgesamt?
• Wie glücklich sind Sie mit Ihrer Ehe?

Studien haben gezeigt, dass, wenn Sie die spezifischere Frage zur Ehe zuerst stellen, dies die Antwort der Leute auf die allgemeinere Frage, wie glücklich sie insgesamt sind, beeinflusst. Spezifischere Fragen stellen den Kontext in den Vordergrund, und die allgemeinere Frage wird zu einer Zusammenfassung dessen, was die Leute aufgrund der vorher gestellten Fragen empfinden. Wenn sie antworten, dass sie in ihrer Ehe glücklich sind, ist es wahrscheinlicher, dass sie auch sagen, dass sie insgesamt glücklich sind, weil sie den Wunsch haben, intern konsistent zu bleiben.

Das liegt daran, dass sich die Leute daran erinnern, wie sie bei jeder Frage geantwortet haben und alle Fragen auf konsistente Weise beantworten wollen. Es wurde festgestellt, dass der Question Order Bias in einer Vielzahl von Szenarien auftritt. In diesem Artikel erfahren Sie mehr über Beispiele und die Auswirkungen von Verzerrungen in der Reihenfolge der Fragen.

Wie Sie Verzerrungen in der Reihenfolge der Fragen einschränken können

Das Ziel Ihrer Umfrage kann Einfluss darauf haben, wie Sie mit Verzerrungen in der Reihenfolge der Fragen umgehen. Hier sind einige Methoden, die Sie je nach Ihrer Situation ausprobieren können:

• Testen Sie Ihre Umfrage mit Blick auf Priming
• Fangen Sie bei Zufriedenheitsumfragen mit einer allgemeinen Frage an, die das gesamte Erlebnis misst, bevor Sie spezifische Fragen zu jedem Teil des Erlebnisses stellen
• Bei Marktforschungsumfragen können Sie die Reihenfolge der Fragen randomisieren
• Gruppieren Sie die Fragen nach Thema, aber randomisieren Sie die Reihenfolge der Fragen innerhalb dieses Themas

Antwortreihenfolge/Primacy Bias: Auch die Reihenfolge der Antworten spielt eine Rolle

Die Reihenfolge Ihrer Antworten für jede Frage macht ebenfalls einen Unterschied darin, wie Kunden auf Ihre Umfrage reagieren, insbesondere bei Multiple-Choice-Fragen. Es gibt zwei Arten von Reihenfolgeverzerrungen: Primacy Bias und Recency Bias.

Primacy Bias bedeutet, dass die Befragten aus den ersten Antwortmöglichkeiten wählen, da sie sich möglicherweise nicht die Zeit genommen haben, alle Auswahlmöglichkeiten durchzulesen. Von Recency Bias spricht man, wenn Personen die letzte Antwort in der Liste wählen, da diese letzte Option die „jüngste“ und damit einprägsamere Antwort ist.

Wie man Antwortreihenfolge-Verzerrungen vermeidet

Zunächst sollten Sie bedenken, dass Antwortreihenfolge-Verzerrungen nur bei Multiple-Choice-Fragen auftreten. Sie würden die Antwortreihenfolge bei einer Frage mit Ratingskala, bei der die Reihenfolge selbst etwas bedeutet, nicht zufällig festlegen wollen. Das wäre verwirrend und würde zu ungenauen Antworten führen.

Hier sind ein paar Möglichkeiten, um eine Verzerrung der Antwortreihenfolge bei Multiple-Choice-Fragen zu vermeiden:

• Randomisieren Sie die Reihenfolge der Antwortoptionen
• Beschränken Sie die Liste der Antwortoptionen, aber fügen Sie eine freie Antwortoption ein, um alle Auswahlmöglichkeiten zu erfassen, die Sie vielleicht übersehen haben

Soziale Erwünschtheit/Konformitätsverzerrung: Der Coolness-Faktor

Während der Acquiescence Bias bedeutet, dass man mit „Ja“ oder „Ja“ antwortet, bedeutet der Social Desirability Bias, dass Menschen Fragen so beantworten, von denen sie glauben, dass sie dadurch gut (oder sozial attraktiver) aussehen. Sie passen sich akzeptablen Normen an, was dazu führen kann, dass sie ihre Gewohnheiten, Überzeugungen und persönlichen Vorlieben übertreiben.

Speziell können Lebensstilentscheidungen, die „schlecht“ oder „ungesund“ sind (wie Trinken, Rauchen, Ausdruck negativer Emotionen oder andere negative Gewohnheiten), falsch dargestellt werden. Ausgehend von diesem allgemeinen Konzept könnte eine Person rassistische, sexistische oder andere intolerante Assoziationen vermeiden, indem sie sich im Umfrageformular falsch darstellt. Sie wollen nicht negativ wahrgenommen werden.

Einige Menschen übertreiben auch bei demografischen Informationen wie Einkommen, Bildung oder anderen sozialen oder Lifestyle-Faktoren, unabhängig davon, ob die Umfrage anonym ist.

Wie Sie die Verzerrung durch soziale Erwünschtheit reduzieren

Diese Art von Umfrage-Fragen tauchen typischerweise am Ende der Kundenbefragung auf, wenn Sie versuchen, mehr über die demografischen und psychografischen Daten der Kunden zu erfahren. Eine sorgfältige Formulierung der Fragen und die Überprüfung der Antworten auf Konsistenz können Ihnen helfen, die Auswirkungen der sozialen Erwünschtheit zu erkennen und zu reduzieren.

• Erlauben Sie anonyme Antworten
• Überprüfen Sie sorgfältig, wie Sie Ihre Fragen und Antworten formuliert haben
• Verwenden Sie neutrale Fragen, die eine Verzerrung durch soziale Erwünschtheit vermeiden
• Wählen Sie nach dem Zufallsprinzip Fragen aus dem Fundus der Möglichkeiten
• Überprüfen Sie die Antworten mit dem, was Sie über Ihre Kunden durch frühere Antworten oder Ihre vorhandenen Kundendaten wissen

Zusammenfassung

Auswahl- und Antwortverzerrungen schleichen sich in jede Umfragesituation ein, Wenn Sie jedoch die bewährten Verfahren für den Umfrageentwurf befolgen, können Sie deren Auswirkungen minimieren. Es ist vielleicht nicht möglich, alle Formen von Verzerrungen aus jeder Umfrage zu entfernen, aber wenn Sie sich sorgfältig auf Ihr Ziel konzentrieren und Strategien anwenden, um die häufigsten Verzerrungen in Umfragen effektiv zu vermeiden, sollten Sie in der Lage sein, die gewünschten Ergebnisse zu erzielen.