Engenheiro(a) de Dados Pleno PJ REMOTO (Airflow | Spark | Python | SQL)

Tarefas e Responsabilidades

Somos uma consultoria de Ciência de Dados e Engenharia de Dados em forte crescimento e estamos ampliando o time para tocar projetos grandes, complexos e com impacto real.

Aqui, IA não é “conceito”: entra no dia a dia em automações, pipelines, observabilidade, qualidade e produtividade, sempre com foco em robustez e escala para clientes enterprise.

Se você curte construir coisas que rodam de verdade — com dados chegando no horário, orquestração confiável, governança, performance e rastreabilidade — vem com a gente. 👇

✅ O que você vai fazer

• Construir e evoluir pipelines de dados (batch e, quando necessário, near real-time)
• Orquestrar workflows com Apache Airflow: DAGs resilientes, idempotentes e fáceis de manter, com dependências, retries e backfills bem resolvidos
• Desenvolver e otimizar processamento distribuído com Spark (PySpark), em ambientes como Databricks
• Trabalhar com Python e SQL para ingestão, transformação e validação
• Implementar qualidade de dados, monitoramento/alertas, logs e observabilidade
• Colaborar com times de Data Science, Analytics e Produto
• Documentar decisões e apoiar padrões de engenharia (Git, CI/CD, code review)

🎯 Requisitos

• Experiência prática com Apache Airflow em produção: criação e manutenção de DAGs, operators, sensors e hooks, agendamento, retries, backfill e troubleshooting de execuções
• Spark / PySpark sólido (transformações, otimização, leitura/escrita eficiente)
• Python aplicado à engenharia de dados (ingestão, integração com APIs, transformação e testes)
• SQL forte (joins, CTEs, window functions, modelagem e performance)
• Noções claras de modelagem e governança de dados
• Diferenciais: Databricks (Jobs, notebooks, clusters, Delta Lake/arquitetura medallion, Unity Catalog), operação de Airflow gerenciado ou em Kubernetes (MWAA, Cloud Composer, Astronomer), cloud (Azure, AWS ou GCP), dbt e streaming (Kafka, Spark Structured Streaming)

💡 O que você encontra aqui

• Projetos desafiadores com grandes empresas e dados de verdade
• Ambiente de crescimento acelerado, com espaço para protagonismo e evolução
• Cultura de time: colaboração, autonomia, entrega e qualidade
• Stack moderna, com incentivo real à automação e boas prática