Numa escala de 1 a 10, quanto você liga para as empresas que estão te atendendo nesse exato momento? Pergunta estranha, né? Talvez você lendo isso não esteja sendo atendido por empresa nenhuma. Será mesmo? E a operadora de internet que está liberando banda pra você nesse momento? Ou a companhia elétrica que está fazendo o mesmo com a eletricidade da sua casa? Os serviços por assinatura que você nem lembra que está pagando, a distribuidora de combustíveis que é responsável pelo seu deslocamento diário, entre tantas outras empresas que nos servem a todo momento, como você pode avaliar de forma crítica cada uma delas pelos padrões de qualidade que cada produto/serviço ou empresa espera? A verdade é que não consegue, você tem suas competências e elas não são necessariamente relevantes para medir a qualidade de um produto/serviço ou até de um suporte prestado. Partindo então dessa premissa, por que empresas contam com suas avaliações e as colocam como algo tão importante para definir suas métricas e planos de ação?
O que você vai ver a seguir é uma tentativa de entender como C-SAT e NPS são utilizados como grande verdade pelos departamentos de CS e CX por aí sem representarem necessariamente a real impressão do cliente. Eu quero mostrar o porquê de eu não acreditar nessas survey-based metrics, como elas não levam em consideração o comportamento e momento emocional do cliente (pois é! E o CS e CX falando tanto de visão customer-centric) e o que aquele exercício no início tem a ver com tudo isso. Depois vamos ver com mais detalhes onde o C-SAT falha no momento e no instrumento de coleta e o NPS nem faz a pergunta certa pra começo de conversa. Tudo isso pra deixar uma reflexão sobre como medir direito a satisfação de um cliente no “modo veterinário”.
Deixa eu explicar melhor o que eu quero dizer com tudo isso: As survey-based metrics são, em tese, a melhor forma de colher informação sobre a satisfação do cliente, pois você recebe o dado direto da fonte, puro e sem contaminação, e ainda por cima na hora em que a experiência acontece. Até hoje, todas as críticas e análises a essas métricas que eu vi falam do conteúdo das pesquisas, da neutralidade das perguntas, mas não falam sobre a qualificação da fonte, o momento da coleta do dado ou até mesmo o estado emocional da fonte. Vamos então pensar sobre como competência, situação e emoção afetam a acurácia desses dados. Quando discuti esse tema com o meu amigo Claudio, ele me alertou que dizer que o cliente é incompetente para dar o feedback que a empresa precisa soaria como arrogância, mas vou explicar. Não estou dizendo que o cliente é burro ou não sabe o que quer, mas sim que as empresas esperam de um C-SAT uma análise profissional, quando muitas vezes quem está avaliando não tem parâmetro pra dizer se a experiência que ele teve foi boa ou ruim, se foi melhor ou pior que a da concorrência. Cliente não é inspetor de qualidade, então precisamos parar de tratar seu feedback gratuito como relatório técnico. Mas competência é só a primeira camada. Tem também o momento em que a pergunta chega. Avaliar uma experiência logo depois que ela acontece parece a forma mais fiel de capturar a opinião, mas tem um detalhe importante: o cliente não está ali pra avaliar nada, ele não tem nenhum compromisso com aquela tarefa, e, mais importante de tudo, tem a própria vida pra tocar. E tem ainda a camada emocional: na hora de dar a nota, será que o cliente vai avaliar a experiência que teve, ou como está se sentindo com o resultado? Essas duas, situação e emoção, só se revelam de verdade quando você presta atenção a onde e como a pergunta é feita. Mas o que mais importa nem é isso: é para QUEM a pergunta é feita. E é aí que começa minha crítica ao C-SAT.
Vamos começar com alguns exemplos práticos de como um C-SAT é apresentado: ao final da aula online o professor manda um link no chat e pede para todos responderem; num evento presencial, como uma palestra, um QR code aparece no telão ao final de cada palestrante; ou depois de uma ligação para o suporte o atendente pede para você ficar na linha e responder numericamente algumas perguntas. Bem padrão, um formulário com uma ou duas perguntas sobre a experiência que você acabou de ter e talvez um campo aberto para você descrever com mais detalhes ou sugerir algo. Quem bolou essa ideia parece nunca ter passado pelas experiências que está tentando avaliar. Eu explico: Um C-SAT no fim de aula vai provavelmente dar um resultado entre 4.8/5 e 5/5 e o motivo é a situação em que a pesquisa foi entregue. Quem não gostou saiu da aula bem antes do link ser enviado. Se só quem ficou até o final da aula teve a oportunidade de responder a pesquisa e só ficou quem engajou com a aula… acho que dá pra entender o resultado. Se ao final da aula o C-SAT foi abaixo dessa média, ou sua aula tinha presença obrigatória (talvez o C-SAT fosse o que validava a presença), ou só uma ou duas pessoas responderam (e uma nota 4/5 em 2 notas já baixa a média pra 4.5/5). É uma falha tão grosseira na metodologia de coleta da pesquisa que aparentemente ninguém da área de CX/CS passou por Estatística 1 na faculdade. O QR code no telão sofre de um problema parecido: ao final da palestra eu prefiro ir dizer o que achei diretamente para o palestrante, não pro meu celular. O interesse maior de se deslocar para assistir uma palestra ao vivo é o networking, eu não vou perder meu tempo respondendo pesquisa quando o palestrante vai ficar só uns 5 minutos disponível para os poucos que conseguirem se aproximar. Talvez por uma pressão social eu até levante o meu celular e finja estar escaneando o QR code, mas definitivamente não vou responder nada agora (quem sabe quando eu chegar em casa eu abro o link e respondo…). Mais uma vez é uma falha de metodologia de coleta que parece passar despercebida por quem se baseia tanto nesses dados.
E o que dizer daquela vez em que sua internet caiu bem no dia que você estava em home office e tinha uma reunião importante. Você liga para a companhia e pede desesperadamente para que seja solucionado. Se o problema foi solucionado, você sai da ligação o mais rápido possível para se preparar para a tal reunião, se não foi, você entra no modo MacGyver e vai procurar uma solução alternativa (rotear do celular, pedir a senha do wi-fi do vizinho, ou ir até um café ou outro lugar público próximo para conseguir seguir com seu trabalho). É nesse momento que te pedem uma nota, e ela mede muito mais o seu estresse com a reunião em risco, do que a qualidade do atendimento. O estado emocional da fonte é variável importante nessa conta e ninguém parece perceber. O cliente não está trabalhando para a empresa que está pedindo o C-SAT, ele está sendo servido por ela. Quem está sendo servido não deve relatório, mas ainda assim parece que a empresa lê a resposta como se o cliente tivesse sentado pra fazer uma auditoria. E tem dados que parecem confirmar isso: num estudo da Dialpad, a taxa média de resposta ao C-SAT depois das ligações foi de 8%: a empresa decide com base em menos de um décimo de quem atendeu, sem saber o que o resto achou. E mesmo a nota que aparece é ilegível, porque uma nota baixa depois de uma ligação pode ser política da empresa, problema de produto ou uma frustração antiga do cliente, e quase nunca é sobre o atendimento em si.
Até aqui estávamos falando de quando e pra quem a pergunta é feita, mas tem um outro problema, independente das duas coisas: o próprio design da pesquisa condiciona o comportamento de quem não gosta de responder. Quando damos nota máxima, passamos para a próxima pergunta, mas quando damos uma nota negativa, vem o campo aberto obrigatório perguntando o porquê dessa nota. Isso sozinho já deveria ser motivo de invalidação metodológica da pesquisa, por assimetria de esforço. E isso até tem nome na literatura de survey: compressão de escala, a tendência de as notas mais baixas serem evitadas justamente porque exigem mais esforço pra serem escolhidas. O campo obrigatório é a versão escancarada disso. E essa assimetria pesa ainda mais quando lembramos que ninguém está pagando o cliente pra responder. Ele está sendo servido, não trabalhando, então não tem por que gastar esforço numa nota honesta que ainda vem com interrogatório. Quem gosta de fugir desse tipo de pesquisa encontra rápido o padrão e passa a responder de forma otimizada, contaminando o resultado.
Mas vamos supor que a empresa resolva tudo isso. Que o campo obrigatório suma, que a pergunta chegue na melhor hora possível e que o cliente esteja tranquilo, sem pressa, disposto a responder com toda a sinceridade. Ainda teremos um problema que nenhum ajuste de pesquisa resolve. O cliente não tem acesso à experiência que viveu, ele tem acesso à lembrança dela, e lembrança não é gravação. Quem mostrou isso foi o psicólogo Daniel Kahneman, com o que ficou conhecido como peak-end rule: a gente não guarda a experiência inteira, guarda dois instantes, o de maior intensidade e o final, enquanto a duração e o resto quase somem. Na prática, um atendimento de quarenta minutos em que trinta e oito foram ótimos e os dois últimos foram irritantes tende a ser lembrado como ruim, porque o fim foi o que ficou. E vale o contrário: um atendimento sofrível que termina com algum “pickle” de bônus vira uma boa lembrança. O cliente não está mentindo quando dá a nota, ele relata com sinceridade uma memória que já é infiel ao que aconteceu. É aqui que a qualidade dos dados da survey se mostra fraca. Lá no começo eu concedi que ela pelo menos colhe o dado na hora, no momento em que a experiência acontece, e que essa seria a grande vantagem dela. Só que, se o cliente já está relatando a memória e não a experiência, colher na hora não salva nada: o dado sai editado mesmo que você aperte o botão um segundo depois de o atendimento acabar. Dá pra consertar o momento e dá pra consertar o formulário, mas não dá pra consertar o fato de que a satisfação está sendo lida de uma lembrança, e não da coisa que foi vivida. Resumindo: as surveys mais ajudam a mostrar o sucesso dos times de suporte ou CX do que a realidade da operação.
Já que estamos falando de metodologia, e quando a própria pergunta invalida o resultado? É o caso das pesquisas de NPS: “De 0 a 10, quanto você recomendaria esse produto/serviço para um amigo?” Quando vejo uma pergunta dessas, eu não penso no atendimento que eu recebi, penso no produto/serviço e se eu teria algum interesse em recomendar para um dos meus amigos, se seria algo para recomendar, ou mesmo se iria querer recomendar aquele produto/serviço em específico. Se antes eu estava defendendo que cliente não é inspetor de qualidade, imagina o que eu penso sobre cliente ficar no churrasco do domingo tentando convencer os amigos a comprar alguma coisa, como num esquema de pirâmide (desculpa, marketing multinível).
Interessante que a pergunta não é sobre você ter ficado satisfeito, mas se você recomendaria. Mesmo assim, o CX costuma tratar as duas coisas como se fossem a mesma. Na realidade, satisfação é sobre a experiência passada, enquanto recomendação é um ato futuro, social, que depende de um monte de coisa que não tem nada a ver com o quanto você gostou: se você conhece alguém com aquela necessidade, se aquilo é assunto que aparece nas suas conversas, se você é do tipo que fica recomendando coisas. O NPS mede a intenção de recomendação e lê o resultado como se fosse satisfação. O número que sai está respondendo uma pergunta diferente da que a empresa acha que fez.
E esse número vem juntando três coisas de uma vez. Quando você responde "de 0 a 10, você recomendaria", a sua nota mistura o quanto você está satisfeito com o produto, o quanto você é uma pessoa que recomenda coisas (tem gente que faz propaganda de tudo, tem gente que nunca indica nada) e se você tem, na sua rede, alguém com aquela mesma necessidade. A nota funde os três num número só, mas a empresa lê esse número como se fosse só o primeiro. Uma nota baixa pode ser insatisfação, ou pode ser um cliente perfeitamente feliz que só não tem pra quem recomendar. A métrica não distingue, mas trata tudo como a mesma coisa.
E tem ainda o jeito como a nota é calculada, que cobra do cliente um conhecimento que ninguém nunca deu pra ele. O NPS corta a escala de 0 a 10 em três baldes: 9 e 10 são "promotores", 7 e 8 são "neutros" que não contam, e de 0 a 6 é tudo "detrator". Como já percebemos que o cliente não tem o “manual de critérios para a avaliação de pesquisa de NPS para a empresa X atualizado 28ª edição”, ele não tem como saber que uma nota 6, que a maioria leria como "razoável, acima do meio", cai no mesmo balde que um 0. Então um cliente satisfeito que dá um 6 honesto, talvez porque gostou mas não tem pra quem indicar, é contado contra a empresa, como se estivesse falando mal dela. A conta transforma gente satisfeita em detrator. E quem dá 7 ou 8, genuinamente contente, simplesmente não conta pra nada.
E não sou só eu achando isso. Quando pesquisadores foram atrás de evidência de que o NPS prevê crescimento melhor que outras métricas (Keiningham e colegas, 2007, no Journal of Marketing, com dados de 21 empresas e mais de 15.500 entrevistas), não conseguiram reproduzir a afirmação. A tal superioridade da métrica nunca foi confirmada por pesquisa independente. E o próprio criador do NPS, Fred Reichheld, acabou reconhecendo que o score auto-reportado virou alvo de manipulação e uso errado, e migrou pra uma medida baseada em resultado contábil de verdade (Net Promoter 3.0, 2021).
É aqui que está a diferença pro C-SAT. Porque enquanto o C-SAT falha porque a pessoa responde com pressa, no momento errado, de memória, o NPS falha um passo antes, na própria pergunta. Antes de qualquer nota, antes de qualquer viés, a pergunta já está medindo a coisa errada.
E não é que os profissionais da área estejam alheios a isso. No fundo, muitos já sentem que tem algo errado. Numa pesquisa da McKinsey de 2021, 93% dos líderes de CX disseram usar uma métrica de survey como principal forma de medir a experiência do cliente. Só que apenas 15% se diziam satisfeitos com o próprio jeito de medir, e só 6% confiavam que aquilo sustentava uma decisão de verdade. Quase todo mundo usa, quase ninguém confia.
"Tá certo" - você vai dizer, "entendi que você não acredita nas survey-based metrics. Então o que você sugere no lugar?" E está certo, não é de bom tom fazer críticas sem apresentar uma sugestão de melhoria, então aqui vai a minha: o diagnóstico veterinário.
Calma que eu explico. Se você vai no médico, ele vai te perguntar o que você está sentindo e você vai fazer a sua lista de sintomas (talvez você esqueça de algo, talvez você relate algum problema que não está relacionado ao problema mais sério que te fez ir até o PS), mas o médico tem uma boa ideia do que você está sentindo para poder iniciar os exames. Quando levamos nosso pet no veterinário a coisa é diferente: o veterinário não consegue perguntar para o paciente onde dói. Ele tem o seu relato e os exames que vai fazer. Isso significa que o veterinário, diferente do médico de gente, não pode confiar no feedback do cliente, e tem que buscar os dados por outros meios.
É assim que proponho pensar a satisfação e experiência do cliente, dando atenção às métricas que já são (ou deviam ser) coletadas ao longo da jornada. Se o time de vendas subiu o ticket e o mercado abraçou sem diminuição no ritmo, é sinal de que a satisfação está alta, desde que o cliente tivesse pra onde ir e mesmo assim ficou. O LTV subir de forma consistente mostra que o produto/serviço está sendo bem entregue. Um cliente vocal que parou de interagir merece um contato de investigação. Veja que cada uma dessas métricas serve a um propósito além do óbvio, e todo profissional de CS deve saber enxergar nessas entrelinhas: Acompanhar o time de vendas e analisar o impacto de uma ação de ajuste de preços ajuda a compor os dados de recomendação do produto; o LTV não serve somente para justificar churn, mas pode sustentar a satisfação do cliente.
É claro que contato e relacionamento também são importantes, e o caso do cliente que parou de interagir é um bom momento para uma investigação direta. Nesse momento, o relacionamento criado ao longo da jornada faz um papel fundamental em deixar o cliente mais confortável para dizer o que não está certo, e ter certa propriedade para falar, já que ele mantém contato constante com a empresa. Então no lugar de perguntar escalas de 1 a 10 e pressupor que o cliente vai fazer o seu trabalho, vale a pena colocar aquela coisa que fica entre as orelhas pra trabalhar e analisar os dados com precisão, além de manter um relacionamento honesto e constante com o cliente para saber como ele avalia seu negócio e os produtos que compra de você.
A resposta real vem da investigação e análise de dados, juntando as dicas silenciosas que o cliente e o mercado nos dão, para poder guiar as decisões estratégicas da empresa. Esse modelo de análise é difícil de automatizar porque precisa de um certo “feeling”, o que vai na contramão da tendência de automatizado que estamos vendo hoje em dia, mas isso é tópico pra uma futura discussão.
Se lá no começo eu te perguntei, numa escala de 1 a 10, o quanto você liga pras empresas que te servem agora, e você não soube responder, a falha não é sua. Satisfação é subjetiva e não cabe numa nota.