Pergunta 48 de 50
Como monitorar Kafka?
Pergunta
"Como você monitoraria um pipeline Kafka em produção?"
O que o entrevistador quer avaliar
A última pergunta técnica típica de uma entrevista sobre Kafka — testa se o candidato pensa em operação real, conectando métricas a decisões, não apenas citando nomes de ferramentas.
Resposta rápida
Eu monitoraria consumer lag e throughput (para saber se o consumo acompanha a produção), taxa de mensagens na DLQ e taxa de erro (para detectar falhas persistentes), taxa de rebalance (para detectar instabilidade de consumers) e logs estruturados com correlationId para rastreabilidade entre serviços.
Resposta nível Sênior
Nenhuma métrica isolada conta a história completa. Consumer lag crescente antecipa atraso de processamento
antes que o usuário sinta; throughput baixo, combinado com lag crescente, aponta que o gargalo é capacidade
de consumo, não volume anormal de produção. Taxa de mensagens na DLQ sinaliza falhas persistentes que já
passaram do retry — um sintoma de qualidade, não de capacidade. Taxa de rebalance frequente costuma indicar
max.poll.interval.ms mal configurado ou instabilidade de infraestrutura, não do Kafka em si. E logs
estruturados com correlationId, agregados em uma ferramenta como Kibana ou Datadog, permitem reconstruir o
caminho de uma transação específica através de múltiplos serviços quando um alerta dispara. A escolha de
ferramenta (Prometheus+Grafana open source vs. Datadog/New Relic comercial) é uma decisão de infraestrutura
independente desse conjunto de métricas.
Explicação aprofundada
Veja o capítulo completo — Observabilidade.
Exemplo financeiro
O time de pagamentos monitora consumer lag do saldo-service, taxa de mensagens na DLQ do tópico
pix.recebido, e propaga correlationId desde a chamada HTTP original até cada consumer — permitindo, em
um incidente, encontrar em segundos todos os serviços que processaram um PIX específico.
"Monitorar Kafka é só instalar Prometheus e Grafana"
Instalar as ferramentas é o passo mais fácil. A parte que separa um sênior é saber quais métricas monitorar, quais limiares de alerta fazem sentido para cada fluxo de negócio, e como conectar essas métricas a decisões operacionais reais.
Pode vir a seguir
Prováveis follow-ups: "conte um projeto real utilizando Kafka" e "quais erros ou desafios você já enfrentou com Kafka".
Capítulos relacionados