Engenheiro (a) de Dados AWS

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados AWS para projetar, desenvolver e manter pipelines de ingestão, transformação e armazenamento de dados em ambientes de Data Warehouse e Data Lake.

Você será responsável por garantir a qualidade, confiabilidade e monitoramento dos dados, além de criar integrações entre sistemas e a nuvem AWS.

Responsabilidades principais

• Projetar, desenvolver e manter processos de ingestão de dados;
• Modelar e projetar estruturas de dados para Data Warehouse e Data Lake (estruturados e não estruturados);
• Construir e manter processos de tratamento e armazenamento de dados;
• Construir e manter processos de controle e monitoramento do Data Lake;
• Desenvolver integrações utilizando APIs e soluções de mensageria;
• Criar integrações de dados entre sistemas e o Data Lake, utilizando SQL e Apache;
• Monitorar ingestões de dados envolvendo ciclos de qualidade;
• Garantir a confiabilidade da plataforma e dos dados por meio de testes unitários;
• Apoiar na criação de esteiras DevOps/DataOps em escala de serviços e infraestrutura na nuvem.

Requisitos técnicos

• Experiência com AWS: S3, Lambda, Glue, Athena, CloudWatch, CloudFormation, SNS, SQS, API Gateway, RDS (Aurora) e Terraform;
• Conhecimento em SQL e Apache;
• Experiência com modelagem de dados para Data Warehouse e Data Lake;
• Familiaridade com APIs, mensageria e automação de infraestrutura;
• Conhecimento em práticas de DevOps/DataOps.

Diferenciais

• Conhecimento em Amazon QuickSight;
• Experiência com testes unitários em pipelines de dados;
• Atuação prévia em ambientes de grande volume de dados.