Pergunta 12 de 50
O que é um Cluster Kafka?
Pergunta
"O que é um Cluster Kafka e por que ele é composto por múltiplos brokers?"
O que o entrevistador quer avaliar
Se você entende cluster como a unidade real de disponibilidade e escala do Kafka, não apenas como "vários servidores juntos" sem entender a coordenação entre eles.
Resposta rápida
Cluster é o conjunto de brokers que, juntos, armazenam e servem todos os tópicos de uma instalação Kafka. Os brokers se coordenam entre si — hoje via KRaft — para eleger um controlador, distribuir partitions e detectar falhas, tudo isso de forma transparente para producers e consumers.
Resposta nível Sênior
Um cluster existe para que o Kafka não dependa de uma única máquina: as partitions de cada tópico são distribuídas entre os brokers do cluster, e cada uma delas é replicada (Capítulo 5) para tolerar a perda de um ou mais brokers, dependendo do replication factor configurado. A coordenação entre brokers — quem é o controlador do cluster, qual broker é leader de cada partition, quais brokers estão vivos — é feita via KRaft (Kafka Raft), que substituiu o ZooKeeper nas versões atuais, eliminando uma dependência externa que o Kafka historicamente precisava para metadados de cluster.
Explicação aprofundada
Veja "Cluster" no Capítulo 3 e a distribuição de réplicas no Capítulo 5.
Exemplo financeiro
Um cluster de produção para um banco digital pode ter 6 brokers distribuídos em 3 zonas de disponibilidade diferentes (2 por zona), garantindo que a perda de uma zona inteira não derrube o cluster, desde que o replication factor e a distribuição de réplicas estejam configurados para considerar essa topologia.
"Um cluster Kafka precisa de ZooKeeper"
Isso era verdade em versões mais antigas, mas as versões atuais do Kafka usam KRaft, um protocolo de consenso próprio (baseado em Raft) para coordenação de metadados do cluster, eliminando a dependência do ZooKeeper. Mencionar essa migração demonstra conhecimento atualizado da plataforma.
Pode vir a seguir
Prováveis follow-ups: "o que é Replication Factor?" e "o que acontece quando um broker do cluster cai?".
Capítulos relacionados