Engenheiro de dados Pleno

Houer Consultoria

Site: http://houer.com.br

Somos uma plataforma de infraestrutura que impacta a vida de milhões de pessoas. Estruturamos e viabilizamos projetos de concessões, PPPs e de outras vertentes em diversas áreas de atuação. Temos projetos espalhados por todas as regiões do Brasil e total expertise para contribuir com o desenvolvimento de ações que busquem melhorias significativas para o futuro do mundo. Entendemos que é preciso pensar no futuro e nos impactos que deixaremos para as próximas gerações. Nossas ações visam, sobretudo, a vontade de contribuir com um mundo melhor e mais desenvolvido.

Responsabilidades e atribuições:

• Pipeline e Big Data: Construir e otimizar pipelines de dados escaláveis (ETL-V) usando Spark e Delta Lake.
• Transformação e Qualidade: Implementar lógica de transformação e modelos analíticos com dbt (Data Build Tool) nas camadas Preparation, Public e Trilhas.
• Orquestração: Projetar e gerenciar fluxos de trabalho resilientes utilizando Apache Airflow.
• Governança e Linhagem: Implementar e manter Open Metadata e Hive para registrar metadados e linhagem de dados fim a fim, vital para a certificação.
• Certificação (OIA): Desenvolver controles de auditoria, testes de consistência (data reconciliation) e documentação técnica para comprovar a origem e integridade dos dados, das fontes ao BI (PostgreSQL/Metabase).
• Infraestrutura Analítica: Otimizar o PostgreSQL para consumo por Business Intelligence, garantindo aderência aos requisitos de negócios.

Requisitos e Qualificações

• Formação superior em TI ou área correlata.
• Experiência comprovada como Engenheiro(a) de Dados.
• Proficiência em Python e SQL avançado.
• Conhecimento profundo de Apache Spark e Delta Lake.
• Experiência prática com dbt (Data Build Tool).
• Domínio na criação e gestão de DAGs no Apache Airflow.
• Familiaridade com conceitos e ferramentas de Governança de Dados e Linhagem de Dados (Data Lineage).
• Conhecimento robusto em arquitetura de sistemas distribuídos e segurança de dados.

Diferenciais

• Governança e Big Data: Experiência com Arquitetura Data Lake (Delta Lake, Hudi ou Iceberg) e padrões de arquitetura medallion para garantia da qualidade dos dados.
• Integração de Sistemas Legados: Conhecimento da arquitetura e comportamento de Sistemas Legados (Silos/Mainframe) para garantir a extração e ingestão correta de dados críticos na camada Raw.
• Vivência anterior no setor público ou em sistemas de alta complexidade regulatória/auditoria.
• Controles de Auditoria e Metadados: Vivência em ambientes de alta complexidade regulatória (Setor Público, Financeiro) e uso de ferramentas de Metadados e Linhagem (Open Metadata ou similares) para rastreabilidade e certificação (ISO/IEC 27001).
• Experiência com Open Metadata ou similares.
• Infraestrutura Cloud Nativa: Conhecimento prático em ambientes Cloud (AWS, GCP ou Azure) e orquestração de contêineres (Docker/Kubernetes).