Source description
About the role
Desenvolver e manter pipelines de dados escaláveis utilizando Scala e Apache Spark, com foco em performance e reutilização.
Estruturar e evoluir a arquitetura medalhão (bronze, silver, gold), garantindo governança, rastreabilidade e qualidade dos dados.
Implementar soluções de ingestão, transformação e disponibilização de dados em ambientes cloud e lakehouse.
Definir e aplicar boas práticas de engenharia de dados, incluindo versionamento, testes automatizados e CI/CD.
Apoiar decisões técnicas e arquiteturais junto aos times de engenharia e produto.
Atuar em squads multidisciplinares, colaborando com engenheiros, analistas e cientistas de dados.
Participar de rituais ágeis e contribuir com a evolução contínua dos processos e ferramentas.
Monitorar e otimizar pipelines em produção, garantindo confiabilidade e eficiência.
Trabalhar com ferramentas como Airflow, Delta Lake, Iceberg, e ambiente AWS.
Investigar e propor melhorias em arquitetura, performance e segurança dos dados.
More at Marlabs