Como medir se a IA de atendimento está funcionando: 5 indicadores para acompanhar

A maioria das empresas que coloca uma IA no atendimento trata o dia da virada como linha de chegada. Ligou, respondeu a primeira conversa, funcionou, pronto. O acompanhamento vira um olhar de canto de olho: "parece que tá indo bem". Duas semanas depois ninguém sabe dizer se a ferramenta está resolvendo problema ou empurrando cliente para longe, porque ninguém definiu o que era "ir bem".

O problema de não medir não é filosófico. Uma IA de atendimento pode estar respondendo rápido e mesmo assim afastando cliente, porque responde rápido a coisa errada. Pode estar transferindo tanta conversa para humano que virou um custo a mais, não um alívio. Pode estar dando a resposta certa em 90 casos e uma resposta inventada no caso 91, justo o cliente que ia fechar. Nenhuma dessas situações aparece num olhar de canto de olho. Aparece em cinco números.

Este é o conjunto que usamos para saber se uma automação de atendimento está entregando o que prometeu. Serve tanto para quem já tem uma IA rodando quanto para quem vai contratar e quer saber o que cobrar do fornecedor depois da entrega.

1. Taxa de resolução sem humano

De cada 100 conversas que a IA iniciou, quantas ela fechou sozinha, sem passar para uma pessoa? Esse é o número que justifica a automação existir. Se está em 20%, a IA está funcionando como uma recepcionista que anota o recado e chama alguém: útil, mas longe do que se pagou por ela. Se está em 70% ou mais, ela está de fato tirando volume da equipe.

O valor "certo" depende do negócio, então não existe meta universal. O que importa é a direção. Nas primeiras semanas a taxa costuma ser baixa de propósito, porque a IA está configurada para transferir na dúvida. Ela precisa subir ao longo do tempo conforme a base de conhecimento melhora. Se um mês depois continua parada no mesmo lugar, alguma coisa não está sendo ajustada.

2. Taxa de transferência e o motivo de cada uma

O contraponto do indicador anterior é para onde vão as conversas que a IA não resolveu. E aqui o número sozinho engana. Transferir 30% das conversas pode ser ótimo (são casos que exigem julgamento humano) ou péssimo (a IA não sabe responder o que devia). A diferença está no motivo.

Vale agrupar as transferências por causa: cliente pediu para falar com humano, a IA não entendeu a pergunta, a pergunta era sobre um assunto fora do escopo, o caso exigia uma decisão de exceção. Quando a maior fatia é "não entendeu a pergunta", você tem um problema de treinamento, não de estratégia. Quando é "cliente pediu humano", talvez o problema seja a IA não deixar claro que consegue ajudar. Cada motivo aponta para um ajuste diferente.

3. Tempo até a primeira resposta e tempo de fila do humano

A IA responde na hora, isso é o mínimo. O número que a maioria esquece de olhar é o outro: quando a IA transfere, quanto tempo o cliente espera até uma pessoa assumir? Uma automação bem calibrada pode piorar a experiência se joga um monte de gente numa fila humana que ninguém está atendendo.

Medir os dois lados evita o autoengano. É comum uma empresa comemorar "tempo médio de resposta de 3 segundos" e não perceber que esse número só existe para as conversas que a IA fechou. As transferidas, que costumam ser as mais delicadas, esperam vinte minutos. O cliente não separa uma coisa da outra: para ele, foi tudo o mesmo atendimento.

4. Conversas sem desfecho

De quantas conversas o cliente simplesmente sumiu no meio? Mandou uma mensagem, a IA respondeu, e não veio mais nada. Uma taxa alta de abandono é o sinal mais silencioso de que algo está errado, porque não gera reclamação. O cliente não briga, ele só vai embora.

Abandono costuma esconder três causas: a IA pediu um dado que o cliente não tinha à mão, deu uma resposta longa e confusa, ou entrou num loop repetindo a mesma coisa. Ler algumas dessas conversas abandonadas por inteiro revela o padrão rápido. É o indicador que menos aparece em dashboard bonito e mais entrega informação útil.

5. Erros detectados na revisão por amostra

Nenhum dos quatro números acima diz se as respostas estavam corretas. Uma IA pode ter 80% de resolução, fila curta, zero abandono, e estar afirmando com confiança coisas que não são verdade. Esse é o risco que não aparece em métrica agregada, só na leitura.

Por isso o quinto indicador não é um número que a ferramenta calcula, é um hábito: pegar uma amostra de conversas por semana, dez ou quinze, e ler inteiras procurando resposta errada, promessa que a empresa não cumpre, informação desatualizada. Anotar quantas tinham problema. Esse número tende a cair conforme a base melhora, e quando ele sobe de repente é sinal de que algo mudou (um produto novo, uma política que trocou) e a IA ficou para trás.

Com que frequência olhar

Os quatro primeiros indicadores merecem uma olhada semanal nas primeiras seis a oito semanas, que é quando os ajustes têm mais efeito. Depois disso, quinzenal resolve. A leitura de amostra do quinto indicador é semanal e não deveria parar nunca, porque é a única defesa contra a resposta errada silenciosa.

Um exemplo para tornar concreto. Um infoprodutor que vende um curso online recebe as mesmas dúvidas o dia inteiro: como acessar a plataforma, quando abre a próxima turma, como pedir reembolso dentro do prazo. Ele liga uma IA no WhatsApp e, na primeira semana, vê resolução de 45%, transferência de 55% quase toda por "não entendeu a pergunta". Lendo as conversas transferidas, descobre que metade era gente perguntando "cadê minha senha" de dez formas diferentes que a IA não reconhecia. Ajusta a base, e na terceira semana a resolução sobe para 75%. Sem os números, ele teria só a sensação de que "a IA transfere demais" e nenhuma pista do que corrigir.

Medir atendimento automatizado não é montar um painel cheio de gráfico. É acompanhar cinco coisas que respondem a uma pergunta só: a IA está resolvendo o problema do cliente ou está no caminho dele? Quando esses números andam na direção certa, a automação está pagando o que custou. Quando não andam, eles dizem exatamente onde mexer.