Lollapalooza
Ingestor de dados em tempo real para o festival
O Desafio
Desenvolvido em parceria com Eletromidia, criamos um ingestor de dados capaz de processar em tempo real o volume massivo de informações gerado durante o Lollapalooza. O sistema precisava ser resiliente, escalável e manter baixa latência mesmo sob alta carga durante o festival.
A Solução
Arquitetura event-driven robusta para ingestão e processamento de dados em tempo real, capaz de lidar com o volume massivo de eventos durante o festival:
- Apache Kafka para streaming de eventos distribuído e resiliente
- gRPC para comunicação de alta performance e baixa latência
- Next.js para dashboard de monitoramento e visualização
- AWS para infraestrutura escalável e gerenciada
- Docker para containerização e deployment consistente
- Pipeline otimizado para processar 300mil+ dados/dia
Resultados
Volume Processado
Mais de 300 mil dados processados por dia durante o evento, com pipeline otimizado para throughput e latência controlada.
Arquitetura Event-Driven
Kafka como backbone de streaming garantindo resiliência, ordenação e reprocessamento confiável de eventos.
Performance
gRPC para comunicação de alta performance entre serviços, reduzindo latência e overhead de serialização.
Dashboard Real-Time
Interface Next.js para monitoramento e visualização de métricas em tempo real durante o festival.
Tecnologias Utilizadas
Sobre o Projeto
Este projeto foi desenvolvido em parceria com a Eletromidia para processar dados em tempo real durante o Lollapalooza. A arquitetura event-driven com Kafka e gRPC garantiu throughput elevado e baixa latência, essenciais para um evento dessa magnitude.
Precisa processar dados em tempo real?
Envie os detalhes do seu projeto para desenvolvermos pipelines de dados escaláveis com Kafka, gRPC e infraestrutura cloud.
Enviar Proposta