Num post anterior sobre perguntas de inquéritos tendenciosos, analisámos o impacto negativo que as perguntas de inquéritos (por exemplo, perguntas principais ou de duplo barril) podem ter nos resultados dos seus inquéritos. Neste posto, mergulharemos na outra causa principal de dados de inquérito enganadores: viés de inquérito.
Bias é definido como “uma inclinação de temperamento ou perspectiva”. O conceito surge frequentemente em sociologia e psicologia, porque está associado a preconceitos ou favoritismo.
No nosso contexto de inquéritos de feedback ao cliente, o enviesamento tem um significado menos carregado: é um “erro sistemático introduzido na amostragem ou nos testes, seleccionando ou encorajando um resultado ou respondendo sobre outros”. Esse “encorajamento” para um resultado específico é o que leva a um enviesamento de sondagem, onde se pode estar a obter apenas um tipo de perspectiva do cliente, ou uma perspectiva inexacta.
Existem dois baldes principais de enviesamento de sondagem de clientes a evitar para que não caia na armadilha de basear as decisões comerciais em resultados de sondagens enviesados:
- enviesamento de selecção, onde os resultados são enviesados de uma certa forma porque apenas se capturou o feedback de um determinado segmento do seu público.
- Viés de resposta, em que há algo sobre a forma como o questionário de inquérito real é construído que encoraja um certo tipo de resposta, levando a erro de medição.
Comecemos por analisar três tipos principais de viés de selecção que podem ter impacto nos seus resultados, nomeadamente viés de amostragem, viés de não-resposta, e viés de sobrevivência.
Viés de amostragem: Obter representação completa
Para qualquer tipo de pesquisa de sondagem, o objectivo é obter feedback das pessoas que representam a audiência que lhe interessa – ou, em termos estatísticos, a sua “amostra”. O viés de amostragem ocorre quando apenas se obtém feedback de uma parte específica do seu público, ignorando todas as outras. Isto ocorre frequentemente porque um segmento de clientes é deixado de fora do processo de inquérito, e pode não ter sido convidado a fazer o seu inquérito.
Uma empresa de Software as a Service (SaaS) provavelmente tem múltiplas pessoas de utilizador, cada uma das quais interage com o produto de uma forma diferente – digamos, o analista que se regista todos os dias para fazer trabalho táctico, o gestor que verifica o progresso enquanto monitoriza os resultados, e um director que paga as contas e está no gancho para provar o retorno do investimento (ROI). Dependendo de como se distribuem os inquéritos (com que frequência, e através de que canal), poderá acabar com o feedback apenas de um subconjunto da sua base de clientes, portanto, enviesamento de amostras.
O mesmo é verdade no espaço retalhista. Se tiver clientes que lhe compram online e pessoalmente, mas apenas envia inquéritos por e-mail para a base de clientes online, está a perder o feedback daqueles que compraram na loja. Os seus resultados conterão um viés de amostragem.
Por vezes, filtrar um grupo específico de indivíduos de um inquérito é intencional. Por exemplo, poderá estar à procura de feedback muito específico sobre uma nova funcionalidade de software, e necessitará do contributo dos seus utilizadores avançados. Ou, está a tentar melhorar a sua experiência de comércio electrónico, pelo que só quer realmente o feedback daqueles que passaram por toda a experiência de compra online.
Se for esse o caso, no seu relatório de inquérito, é importante que cave as suas conclusões, declarando qual a perspectiva da população que as suas conclusões reflectem, e como isso está de acordo com os seus objectivos de inquérito.
Como reduzir o viés de amostragem
Para reduzir o viés de amostragem, poderá ter de dar alguns passos atrás e assegurar-se de que o seu processo de concepção do inquérito não deixou alguém de fora.
Aqui estão alguns passos a seguir:
- Abrir bem o que gostaria de receber feedback, quem seria capaz de fornecer esse feedback, e como obterá esse feedback. Planear os principais pontos de contacto da viagem do cliente para cada um dos seus utilizadores é uma excelente forma de começar.
- Segurar que o seu método de distribuição de inquéritos e o tempo de inquérito fazem sentido para esses clientes. Será que um inquérito por correio electrónico ou um inquérito na Internet funcionará melhor? Para os seus utilizadores de poder, um inquérito em formato electrónico é provavelmente uma aposta segura, enquanto que um inquérito por correio electrónico após uma apresentação trimestral de negócios pode ser mais accionável para alguém a nível de director ou de gestão.
P>Quando souber exactamente quem irá receber o seu inquérito, e como irá enviar esses inquéritos, a sua próxima tarefa será conseguir que as pessoas respondam.
Posso de não-resposta: Fazer com que as pessoas respondam
Se tiver incluído todo o seu público principal no seu inquérito, ainda não há garantias de que respondam ao seu inquérito.
Por exemplo, os utilizadores inactivos ou as pessoas que adquiriram o seu produto há muito tempo são provavelmente menos propensos a responder, uma vez que não têm uma forte recordação da sua experiência. Também podem não ter qualquer feedback útil a fornecer. Por outro lado, as pessoas que investiram muito no seu negócio e utilizam frequentemente o seu serviço têm provavelmente mais probabilidades de responder, e têm um feedback de maior qualidade a partilhar.
O importante a ter em mente é o quão representativos aqueles que responderam são da audiência que lhe interessa. Se a sua taxa de resposta ao inquérito for baixa, mas as vozes de todos os seus principais intervenientes estiverem presentes, poderá ser menos importante para si tentar aumentar o número de pessoas que respondem ao seu inquérito. No entanto, se analisar a distribuição das respostas, e verificar que apenas utilizadores de um determinado produto, grupo etário, ou sexo estão a responder, tente aumentar a sua taxa de resposta nessas áreas para completar o seu feedback.
O medo de repercussão também pode impedir as pessoas de responder. Imagine um inquérito de experiência a empregados em que pergunta sobre a carga de trabalho ou tenta obter feedback de gestão a partir de relatórios directos. Se a organização não tiver estabelecido expectativas em torno do anonimato, os funcionários com opiniões negativas podem não responder de todo.
Como reduzir o enviesamento de não-respostas
Se não estiver a receber o feedback de que necessita, existem múltiplas formas de aumentar as taxas de resposta ao inquérito, mantendo ao mesmo tempo a qualidade do feedback elevada. Semelhante à solução para reduzir o enviesamento de amostragem, poderá estar a perder o feedback simplesmente porque o seu método de distribuição ou tempo de inquérito está desligado.
Aqui estão algumas das nossas melhores dicas para tentar:
- Ajustar o tempo de inquérito ao tipo de feedback que gostaria. Por exemplo, peça feedback ao serviço de atendimento ao cliente imediatamente após um problema ter sido resolvido.
- Leve o seu inquérito curto (e deixe as pessoas saberem que é curto) para que tenham mais probabilidades de levar o seu inquérito.
- Tente diferentes métodos de distribuição do inquérito (e-mail, web, link, ou texto SMS), e assegure-se de que está a seguir as melhores práticas para cada tipo de método de distribuição.
- No caso de tópicos mais sensíveis, informe as pessoas de que o inquérito é anónimo, e que não haverá repercussões nas suas respostas.
Para uma lista completa de tácticas, consulte este guia sobre o aumento das taxas de resposta ao inquérito.
Posicionamento de amostragem de sobrevivência: Obter uma segunda opinião
P>Piopia de sobrevivência ocorre quando o seu inquérito é limitado aos clientes, clientes e empregados que permaneceram consigo ao longo do tempo. Como pode imaginar, o seu feedback pode ser muito diferente da opinião daqueles que se viraram ou deixaram a sua empresa.
Pode nem sempre ser possível chegar a esses contactos perdidos, mas pode ganhar dados valiosos ao incluir essa amostragem no seu inquérito actual.
Como reduzir o enviesamento de sobrevivência
Seguir com os clientes e empregados virados que vão deixar a empresa com inquéritos de saída. Tente compreender as suas razões, para que possa contabilizá-las no futuro. Os inquéritos sobre perdas de prospecção, onde se pergunta aos potenciais clientes porque não se tornaram clientes reais, são outra boa fonte de feedback para o crescimento do seu negócio.
Agora que passámos pelos principais tipos de enviesamento de selecção que podem afectar os seus inquéritos aos clientes, falemos de enviesamento de resposta.
Para ser claro, “enviesamento de resposta” não é o o oposto de “enviesamento de não resposta”. Para rever, o enviesamento de não resposta centra-se no que acontece quando aqueles que recebem o seu inquérito optam por não responder. O viés de resposta é sobre construções societais ou de inquérito que podem ter impacto na qualidade real das respostas do inquérito.
Piés de resposta: Quando se trata de “sim”
Embora seja sempre maravilhoso ouvir que é espectacular, por vezes, pode perguntar-se se é verdade. Se todos os resultados do seu inquérito forem positivos, pode ser o resultado de um preconceito de aquiescência, ou do fenómeno “sim-homem”.
As normas sociais e o cansaço do inquérito são um par de factores que levam a um preconceito de aquiescência. É fácil dizer “sim” por cortesia, mesmo que seja falso. Se empilharmos um inquérito longo ou complicado em cima disso, as pessoas podem ficar cansadas de dar respostas ponderadas, e apenas por omissão a respostas positivas para passar as perguntas.
Notem que estas normas irão variar de acordo com o país. Em alguns locais, as pessoas podem evitar dar classificações demasiado duras ou demasiado positivas, e tender para pontuações mais médias a toda a hora.
Felizmente, existem algumas formas de conceber o seu questionário para evitar o preconceito de aquiescência.
Como mitigar o preconceito de aquiescência
A melhor forma de minimizar a possibilidade de preconceito de aquiescência é usar escalas de perguntas e respostas bem pensadas, de modo a facilitar aos seus clientes a oferta da sua contribuição sem sentir que a resposta que desejam não existe.
- Varia as suas perguntas e respostas, e usa perguntas de escolha múltipla para além das perguntas de escala. Eis um resumo dos diferentes tipos de perguntas de inquérito a usar no seu inquérito.
- Evite perguntas que apenas permitem uma resposta de “sim” ou “não”, uma vez que não fornecem níveis de nuance suficientes para as pessoas escolherem entre.
- Utilize uma escala de resposta que não se presta tão facilmente a um preconceito de aquiescência (por exemplo: “Definitivamente não irá, Provavelmente não irá, Não sei, Provavelmente irá, Definitivamente irá”)
- Quando fizer inquéritos internacionais com modelos CES, CSAT, ou inquéritos NPS, verifique o feedback em aberto em relação à classificação inicial para verificar se as normas culturais podem estar a enviesar a pontuação.
li> Não use perguntas principais, que normalmente ditam o que gostaria de ouvir versus como alguém se poderia realmente sentir.
Pias de ordem de perguntas: Procura de consistência
Pias de ordem de perguntas, também conhecidas como enviesamentos de ordem, podem enviesar as suas respostas ao inquérito através de “priming” e o desejo que as pessoas têm de dar respostas internamente consistentes.
Por exemplo, considere estas duas perguntas:
- Quão feliz é na sua vida em geral?
- Quão feliz é no seu casamento?
Estudos mostraram que quando se faz a pergunta mais específica sobre o casamento primeiro, isso influencia a forma como as pessoas respondem à pergunta mais geral sobre quão felizes são em geral. As questões mais específicas contexto principal, e a questão mais geral torna-se um resumo de como as pessoas se sentem com base em perguntas anteriores feitas. Se responderem que são felizes no seu casamento, é também mais provável que digam que são felizes em geral devido a um desejo de permanecerem consistentes internamente.
Isto porque as pessoas se lembram como respondem a cada pergunta, e querem responder a todas as perguntas de uma forma consistente. Foi constatado que o enviesamento da ordem das perguntas ocorre numa grande variedade de cenários. Pode aprender mais sobre exemplos e o impacto do enviesamento de ordem de perguntas neste artigo.
Como limitar o enviesamento de ordem de perguntas
O objectivo do seu inquérito pode ter impacto na forma como lida com o enviesamento de ordem de perguntas. Aqui estão alguns métodos a tentar, dependendo da sua situação:
- Teste a sua sondagem com um olho para a preparação em mente
- Para sondagens de satisfação, comece com uma pergunta geral que meça toda a experiência antes de fazer perguntas específicas sobre cada parte da experiência
- Para sondagens de pesquisa de mercado, aleatorize a ordem das perguntas
- Grupos de perguntas por tópico, mas aleatorize a ordem das perguntas dentro desse tópico
Possibilidade de resposta de ordem/posicionamento de prioridade: A ordem das suas respostas para cada pergunta também faz uma diferença na forma como os clientes respondem ao seu inquérito, especialmente quando se trata de perguntas de escolha múltipla. Há dois tipos de enviesamento de ordem em jogo: enviesamento de primazia e enviesamento de recência.
P>O enviesamento de primazia é quando as pessoas escolhem de entre as primeiras opções de resposta, uma vez que podem não ter tido tempo para ler todas as escolhas. Viés de recência é na verdade quando as pessoas escolhem a última resposta da lista, uma vez que essa última opção é a “mais recente”, e portanto mais memorável, resposta.
Como evitar o viés de ordem de resposta
P>Primeiro a desligar, tenha em mente que o viés de ordem de resposta só se aplica a perguntas de escolha múltipla. Não quererá randomizar a ordem de resposta de uma pergunta da escala de classificação, em que a ordem em si significa algo. Fazê-lo seria confuso e levaria a respostas imprecisas.
Existem algumas formas de evitar o viés de ordem de resposta para perguntas de escolha múltipla:
- Randomize a ordem da opção de resposta
- Limite a sua lista de opções de resposta, mas inclua uma opção de resposta livre para capturar quaisquer escolhas que possa ter perdido
Socialmente desejável/viés de conformidade: O factor de frieza
Embora o viés de aquiescência envolva responder “sim” ou, no afirmativo, o viés de desejabilidade social significa que as pessoas respondem às perguntas de uma forma que pensam que as fará parecer boas (ou mais atraentes socialmente). Estão em conformidade com normas aceitáveis, o que as pode levar a exagerar nos seus hábitos, crenças e preferências pessoais.
p>Especificamente, as escolhas de estilo de vida que são “más” ou “insalubres” (como beber, fumar, expressões de emoções negativas, ou outros hábitos negativos) podem ser deturpadas. No entanto, alargando-se a esse conceito geral, uma pessoa pode evitar associações racistas, sexistas, ou outras associações intolerantes, ao apresentar-se de forma deturpada no formulário de inquérito. Não querem ser percebidos de forma negativa.
Algumas pessoas podem também exagerar a informação demográfica como rendimento, educação, ou outros factores sociais ou de estilo de vida, independentemente de o inquérito ser anónimo.
Como reduzir o preconceito de desejo social
Estes tipos de perguntas de inquérito surgem tipicamente no final do inquérito aos clientes, quando se tenta saber mais sobre a demografia e psicografia dos clientes. Uma redacção cuidadosa das perguntas e respostas cruzadas por uma questão de consistência pode ajudar a identificar e reduzir o impacto do preconceito de desejo social.
- Possibilidade de respostas anónimas
- Reveja cuidadosamente a forma como formulou as suas perguntas e respostas
- Utilize perguntas neutras que evitem o viés de desejabilidade social
- Selecione aleatoriamente perguntas do repositório de possibilidades
- Cheque as respostas em relação ao que sabe sobre os seus clientes através de respostas anteriores ou dos seus dados de clientes existentes
Sumário
Selecção e enviesamento de respostas infiltram-se em cada situação de inquérito, mas seguindo as melhores práticas de concepção de inquéritos podem minimizar o seu efeito. Pode não ser possível remover todas as formas de enviesamento de todos os inquéritos, mas concentrando-se cuidadosamente no seu objectivo, e utilizando estratégias para abordar eficazmente as situações mais prevalecentes de enviesamento de inquéritos, deverá ser capaz de obter os resultados de que necessita.