Instrumentação de custo e qualidade em produção de IA

"ROI de IA corporativa" discutiu por que a maioria das iniciativas de IA não consegue provar retorno: falta instrumentação, não falta valor. Este artigo detalha como construir essa instrumentação — telemetria por caso de uso, atribuição de custo, orçamento e alertas, métricas de qualidade em produção e amostragem para revisão humana.

Por que "custo por token" não é suficiente

Custo por token é fácil de medir e quase inútil para decisão de negócio. A pergunta que importa é: quanto custa uma unidade de trabalho? Uma unidade de trabalho é definida pelo caso de uso — um ticket de suporte resolvido, um contrato revisado, um relatório gerado, uma pergunta respondida com precisão suficiente para não precisar de retrabalho humano.

Para calcular custo por unidade de trabalho, você precisa de três dados amarrados entre si:

1. 1.Tokens de entrada e saída por chamada (incluindo chamadas intermediárias de agentes e recuperação).
2. 2.Número de chamadas de modelo necessárias para completar uma unidade de trabalho — não assuma 1:1.
3. 3.Taxa de sucesso da unidade de trabalho (quantas vezes o resultado foi aceito sem necessidade de repetir ou corrigir).

\\\text custo_por_unidade_de_trabalho = soma(custo_de_tokens_de_todas_as_chamadas) / taxa_de_sucesso \\\

Se uma tarefa custa R$ 0,40 em tokens mas só é aceita em 70% das tentativas, o custo real por unidade de trabalho entregue é R$ 0,57, não R$ 0,40. Ignorar a taxa de sucesso é a forma mais comum de subestimar custo real.

Atribuição por equipe e por caso de uso

Sem atribuição, custo de IA vira uma linha única na fatura de infraestrutura, sem dono. Isso trava dois lados: o financeiro não consegue avaliar ROI por área, e times não sentem o custo de decisões de design (contexto excessivo, retries desnecessários, escolha de modelo maior que o necessário).

Implementação mínima:

• Cada chamada ao gateway de IA carrega metadados obrigatórios: equipe, caso de uso, ambiente (produção/teste), e idealmente usuário final ou processo de origem.
• O gateway agrega esses metadados com o custo real da chamada (não uma estimativa) e grava em um armazenamento consultável — não apenas em log de texto.
• Um painel permite consulta por equipe e por caso de uso, com comparação mês a mês.

Isso permite decisões como: "o caso de uso X consome 40% do orçamento de IA e entrega valor mensurável baixo — vale revisar o design ou descontinuar" — decisão impossível sem atribuição.

Orçamento e alertas

Orçamento sem alerta automático é uma planilha que ninguém olha até o fim do mês. Estruture em camadas:

Alertas de "taxa de queima anômala" — consumo crescendo muito mais rápido que o volume de uso — capturam problemas antes do fim do ciclo de orçamento, como um prompt mal ajustado que dobrou o tamanho do contexto.

Métricas de qualidade em produção

Qualidade não pode ser medida só em avaliação offline antes do lançamento. Em produção, monitore continuamente:

• Taxa de aceitação: resposta usada sem edição ou correção (quando há indicação do usuário, como aceitar uma sugestão).
• Taxa de escalonamento: com que frequência a interação precisa de intervenção humana.
• Taxa de recusa/erro do modelo: quando o modelo se recusa a responder ou retorna erro estruturado.
• Deriva de qualidade: comparação periódica contra o conjunto de avaliação de referência, para detectar degradação após mudança de modelo, prompt ou dado de recuperação.

Essas métricas devem estar no mesmo painel que o custo — qualidade e custo tomados isoladamente levam a otimizações erradas (cortar custo sem medir efeito na qualidade, ou manter modelo caro sem prova de que a qualidade extra é usada).

Amostragem para revisão humana

Revisar 100% das interações não escala; não revisar nenhuma é operar às cegas. A prática recomendada é amostragem estratificada:

• Amostra aleatória fixa (ex.: 2-5% de todas as interações) para detectar problemas não previstos.
• Amostra dirigida por sinal de risco: interações com baixa confiança do modelo, tópicos sensíveis, ou reclamação do usuário — revisão de 100% desse subconjunto.
• Amostra de "quase-sucesso": casos em que o modelo hesitou ou pediu mais informação, para calibrar limites de confiança.

Os resultados dessa revisão alimentam de volta o conjunto de avaliação, fechando o ciclo entre produção e teste.

Sustentando o cálculo de ROI

Com essas peças no lugar, o cálculo de ROI deixa de ser estimativa e passa a ser leitura de painel: custo real por unidade de trabalho, atribuído por equipe, cruzado com taxa de aceitação e escalonamento. Isso também melhora a credibilidade da iniciativa de IA internamente — números auditáveis pesam mais que projeções em uma apresentação.

O que fazer na segunda-feira

1. 1.Escolha um caso de uso e defina explicitamente sua "unidade de trabalho" e a fórmula de custo por unidade entregue.
2. 2.Adicione metadados obrigatórios (equipe, caso de uso, ambiente) em todas as chamadas ao gateway de IA existente.
3. 3.Configure alertas de orçamento em três camadas para pelo menos os dois casos de uso de maior gasto.
4. 4.Implemente amostragem estratificada de revisão humana, começando com 2-5% aleatório mais 100% dos sinalizados como risco.
5. 5.Coloque custo e qualidade no mesmo painel antes da próxima reunião de orçamento de IA.

Leitura complementar

Trilha executiva:

• ROI de IA corporativa: como medir o que não aparece na fatura — a leitura de negócio deste mesmo tema.