🚀 Engenheiro de Dados - Apache Spark / Python
🌐 Modelo de trabalho: Remoto / CLT
⌛ Período: 6 meses inicialmente
Descrição:
Estamos em busca de um(a) Engenheiro(a) de Dados com experiência sólida em processamento distribuído e em tempo real, capaz de projetar e implementar pipelines escaláveis para suportar grandes volumes de dados. O(a) profissional atuará em um ambiente dinâmico, colaborando com times multidisciplinares para entregar soluções robustas e orientadas a dados.
Responsabilidades:
Desenvolver e manter pipelines de dados para processamento batch e streaming utilizando Apache Spark (incluindo Structured Streaming).
Implementar soluções escaláveis e resilientes para ingestão, transformação e disponibilização de dados.
Garantir a qualidade, governança e segurança dos dados em todas as etapas do pipeline.
Colaborar com equipes de arquitetura, analytics e negócio para definir estratégias de dados.
Monitorar e otimizar processos para garantir alta performance e baixo custo.
Apoiar iniciativas de modernização e migração para ambientes cloud (AWS).
Requisitos Obrigatórios:
Experiência avançada com Apache Spark, incluindo processamento de dados em streaming.
Sólidos conhecimentos em Python para desenvolvimento de pipelines e scripts.
Conhecimento básico em AWS, especialmente serviços como S3, Glue, EMR ou equivalentes.
Experiência com formatos de dados (Parquet, Delta Lake) e boas práticas de ETL/ELT.
Familiaridade com controle de versão (Git) e metodologias ágeis.
Diferenciais:
Conhecimento em Scala para desenvolvimento em Spark.
Experiência com ferramentas de orquestração (Airflow, Step Functions).
Certificações AWS ou em Engenharia de Dados.
Vivência com ambientes de Data Lake e arquiteturas orientadas a eventos (Kafka, Kinesis).
Soft Skills:
Boa comunicação e capacidade de trabalhar em equipe.
Perfil analítico e orientado a resultados.
Proatividade para propor melhorias e soluções inovadoras.
REQUISITOS
SALÁRIO E BENEFÍCIOS
ESPECIFICAÇÕES
Área: Dados Cargo: Engenheiro Plataforma: Python Especialidade: ETL Nível: Senior
