偏った調査質問に関する前回の投稿では、悪い調査質問（例：誘導尋問や二重質問）がどのように調査結果に悪影響を及ぼすかを説明しました。
バイアスとは、「気質や考え方の傾向」と定義されています。
カスタマー フィードバック調査の文脈では、バイアスはそれほど重い意味ではなく、「ある結果や回答を他のものより選択したり、奨励したりすることによって、サンプリングやテストに導入される系統的なエラー」という意味です。
偏った調査結果に基づいてビジネス上の意思決定を行うという罠に陥らないように、避けるべき顧客調査の偏りには2つの主なものがあります。
まず、結果に影響を与える可能性のある選択の偏りの3つの主要なタイプ、すなわち、サンプリング バイアス、無回答の偏り、生存者の偏りを見てみましょう。
サンプリング バイアス。
どのようなタイプの調査でも、目的は、対象となる人々を代表する人々からフィードバックを得ること、つまり統計学的には「サンプル」を得ることです。 サンプリングバイアスとは、対象者の特定の部分からのみフィードバックを得て、それ以外の人は無視することです。
Software as a Service (SaaS) 企業には、毎日ログインして戦術的な作業を行うアナリスト、結果を監視しながら進捗状況をチェックするマネージャー、請求書を発行して投資収益率 (ROI) を証明する責任を負うディレクターなど、それぞれが異なる方法で製品とやり取りする複数のユーザーペルソナがいると思われます。 アンケートをどのように配布するか（どのくらいの頻度で、どのような経路で）によっては、顧客ベースの一部からしかフィードバックを得られない可能性があり、それゆえサンプリング バイアスが生じます。
小売業でも同じことが言えます。オンラインと店舗で購入する顧客がいるのに、オンラインの顧客ベースにのみメールアンケートを送信すると、店舗で購入した顧客からのフィードバックが得られないことになります。
場合によっては、アンケートから特定のグループを除外することが意図的に行われることがあります。 たとえば、新しいソフトウェアの機能について非常に具体的なフィードバックを求めていて、パワーユーザーからの意見を必要としている場合があります。
このような場合、調査レポートでは、調査結果がどの人たちの視点を反映しているのか、また、それが調査の目標にどのように沿っているのかを示すことで、調査結果を慎重に説明することが重要です。
サンプリング バイアスを減らす方法
サンプリング バイアスを減らすためには、調査の設計プロセスで誰かを取りこぼしていないかどうかを確認する必要があるかもしれません。
誰がアンケートを受け取るのか、どのようにアンケートを配信するのかがはっきりしたら、次の課題は人々に回答してもらうことです。
無回答の偏り。
例えば、活動していないユーザーや、かなり前に製品を購入した人は、自分の経験をよく覚えていないため、回答してくれる可能性は低いでしょう。 また、有益なフィードバックを得られない可能性もあります。
心に留めておくべき重要なことは、回答してくれた人たちが、あなたが大切にしているオーディエンスをどれだけ代表しているかということです。 アンケートの回答率が低くても、主要なステークホルダーの声が集まっていれば、アンケートに回答してくれる人の数を増やす努力をすることの重要性は低いかもしれません。 しかし、回答の分布を見て、特定の製品、年齢層、性別のユーザーだけが回答していることがわかったら、フィードバックをまとめるために、それらの分野の回答率を上げてみてください。
反響を恐れることも、人々の回答を妨げます。 例えば、従業員体験調査で、仕事量について尋ねたり、直属の部下から管理職としてのフィードバックを得ようとする場合を想像してみてください。
無回答のバイアスを減らす方法
必要なフィードバックが得られない場合、フィードバックの質を高く保ちつつ、アンケートの回答率を上げる方法が複数あります。 サンプリングバイアスを減らす方法と同様に、配布方法や調査のタイミングがずれているだけで、フィードバックを逃している可能性があります。
ここでは、いくつかのトップヒントを紹介します。
戦術の完全なリストについては、アンケートの回答率を上げるためのガイドをご覧ください。
Survivorship sampling bias: セカンドオピニオンを得る
生存者バイアスは、アンケートの対象が、顧客、クライアント、従業員など、長期にわたって付き合いのある人に限られている場合に発生します。
生存バイアスを減らす方法
解約した顧客や、会社を辞める予定の従業員には、退職時のアンケートでフォローアップしましょう。 彼らの理由を理解して、将来的に説明できるようにしましょう。
さて、顧客調査に影響を与える可能性のある主な選択バイアスの種類を見てきましたが、次に回答バイアスについてお話しましょう。 おさらいすると、無回答バイアスは、アンケートを受け取った人が回答しないことを選択した場合に起こることに焦点を当てています。
Acquiescence bias:
あなたが素晴らしいと言われるのはいつでも素晴らしいことですが、時には、それが本当かどうか疑問に思うかもしれません。
社会的な規範と調査の疲労は、承諾バイアスにつながるいくつかの要因です。 たとえ事実でなくても、礼儀として「イエス」と言うのは簡単です。
これらの規範は国によって異なることに注意してください。
このような規範は、国によって異なることに注意してください。ある場所では、人々は、あまりにも厳しい評価やあまりにも肯定的な評価を避け、常に平均的なスコアに向かう傾向があります。
Acquiescence Biasを軽減する方法
Acquiescence Biasの可能性を最小限にする最善の方法は、考え抜かれたフレーズの質問と回答の尺度を使用することです。
Question order bias: Striving for consistency
Question order bias (order-effects biasとも呼ばれる)は、「プライミング」や、人々が内部的に一貫した回答をしたいと思うことによって、アンケートの回答に偏りが生じる可能性があります。
例えば、以下の2つの質問を考えてみましょう。
- あなたは人生全体でどのくらい幸せですか
- あなたは結婚生活でどのくらい幸せですか
研究によると、結婚についてのより具体的な質問を最初にすると、人々が全体的にどのくらい幸せかというより一般的な質問にどのように答えるかに影響を与えることがわかっています。 より具体的な質問は文脈を形成し、より一般的な質問はそれまでの質問に基づいて人々がどのように感じているかを要約したものになります。
これは、人々が各質問に対してどのように回答したかを覚えており、すべての質問に対して一貫した方法で回答したいと思うからです。 質問順序の偏りは、さまざまなシナリオで発生することがわかっています。
How to limit question order bias
アンケートの目的によっては、質問の順番の偏りをどのように扱うかが変わってきます。 ここでは、状況に応じて試せるいくつかの方法をご紹介します。
- プライミングを念頭に置いてアンケートをテストする
- 満足度調査の場合、体験の各部分について具体的な質問をする前に、体験全体を測る一般的な質問から始める
- 市場調査の場合、質問の順序をランダムにする
- 質問をトピックでグループ化するが、そのトピック内での質問の順序はランダムにする
回答の選択肢の順序/プライマシー バイアス。 回答の順番も重要です
各質問に対する回答の順番も、特に多肢選択式の質問の場合、お客様がアンケートにどのように回答するかに違いがあります。
プライマシー バイアスとは、すべての選択肢に目を通す時間がなかったために、最初のいくつかの答えの選択肢から選択してしまうことです。
回答順序の偏りを回避する方法
まず、回答順序の偏りは多肢選択問題にのみ適用されることを念頭に置いてください。 順番自体に意味がある評価スケールの質問で、回答の順番をランダムにすることはしたくないでしょう。
多肢選択式の質問で回答の順番の偏りを避けるためのいくつかの方法があります。 クールネス要素
「はい」と答えたり、肯定的に答えたりする承諾性バイアスに対し、社会的望ましさバイアスとは、人々が自分を良く見せる（または社会的に魅力的に見せる）と思う方法で質問に答えることを意味します。
具体的には、「悪い」または「不健康」なライフスタイルの選択（飲酒、喫煙、否定的な感情の表現、その他の否定的な習慣など）は、誤って伝えられる可能性があります。 一般的には、人種差別的、性差別的、その他の不寛容なイメージを避けるために、アンケート用紙に自分自身を偽って記入することがあります。
また、アンケートが匿名であるかどうかにかかわらず、収入や学歴などの人口統計学的な情報や、その他の社会的またはライフスタイルの要素を誇張する人もいるでしょう。
社会的望ましさバイアスを減らす方法
このようなタイプのアンケートの質問は、一般的に顧客調査の最後に出てきます。 慎重に質問を表現し、回答を相互に参照して一貫性を持たせることで、社会的望ましさバイアスの影響を特定し、軽減することができます。
- 匿名での回答を許可する
- 質問と回答の表現を慎重に検討する
- 社会的望ましさバイアスを回避する中立的な質問を使用する
- 可能性のリポジトリからランダムに質問を選択する。
- 過去の回答や既存の顧客データを通じて顧客について知っていることと回答を照合する
まとめ
選択バイアスと回答バイアスは、あらゆる調査の状況に潜んでいます。 しかし、調査設計のベスト プラクティスに従うことで、その影響を最小限に抑えることができます。 すべての調査からすべての形態のバイアスを取り除くことはできないかもしれませんが、目的に注意深く焦点を当て、最も一般的な調査バイアスの状況に効果的に対処する戦略を用いることで、必要な結果を得ることができるはずです。