- Apoiar o líder da equipe de engenharia de dados para garantir a qualidade e a agilidade das atividades da equipe
- Trabalhar de forma colaborativa e criativa com outros engenheiros de dados para desenvolver pipelines de dados escalonáveis e de fácil manutenção usando as tecnologias mais recentes e as principais práticas do setor
- Crie pipelines de dados que ingerem várias fontes de dados na estrutura da malha de dados harmonizada e disponibilize-os para consumo para as equipes internas de análise de dados e ciência de dados, bem como para clientes externos
- Depurar, testar a unidade e implantar pipelines de dados, além de otimizar
Ingerir e gerenciar metadados em relação a dados e processos
- Gerenciar, documentar e versionar o código
REQUISITOS
💎 - INGLÊS AVANÇADO E/OU FLUENTE (MANDATÓRIO, INTERAÇÃO COM TIME GLOBAL) 💎
- Experiência em computação em nuvem, de preferência no Azure
- Conhecimento profundo do armazenamento e da evolução dos dados modernos (Data Lake, Delta Lake, Lakehouse etc.)
- Experiência em desenvolvimento de pipeline de dados usando ADF, PySpark, Scala, Airflow, etc.
- Experiência de trabalho com estruturas de Big Data, de preferência Databricks etc.
- Experiência de trabalho com dados transacionais/relacionais e SQL.
- Sólida experiência em ajuste de desempenho e otimizações em PySpark e SQL
- Forte experiência de trabalho em equipes ágeis implementando práticas de DevOps
- Forte experiência em pipelines de CI/CD
SALÁRIO E BENEFÍCIOS
ESPECIFICAÇÕES
Área: Dados Cargo: Engenheiro Plataforma: Python Especialidade: ETL Nível: Senior
