Especialista Cloudera Sênior (Big Data e Google Cloud)

SOBRE A VAGA

Buscamos um profissional para atuar como Especialista Cloudera Sênior em um projeto estratégico de migração de plataforma de dados de uma grande instituição financeira.

O desafio envolve a migração do ambiente Cloudera na AWS para o Google Cloud, com aproximadamente 13 mil jobs Spark e PySpark e 2,5 PB de dados. O profissional será a referência técnica do ambiente legado, contribuindo para preservar o comportamento dos componentes durante a migração.

Vaga também aberta a pessoas com deficiência.

RESPONSABILIDADES DA VAGA

Analisar o ambiente Cloudera CDP, seus serviços, configurações, dependências e jobs em produção.

Apoiar o levantamento do inventário e das dependências entre origens, jobs, tabelas e consumidores.

Mapear recursos do Cloudera e indicar equivalências ou adequações necessárias no Google Cloud.

Apoiar a migração de Spark, Hive, Impala, Kudu, HBase, Kafka e NiFi, incluindo versões legadas de Spark.

Investigar diferenças entre os ambientes de origem e destino e identificar suas causas.

Apoiar a migração de políticas de segurança e governança, incluindo Ranger, Atlas e Kerberos.

Colaborar com especialistas do cliente no entendimento dos frameworks proprietários sobre o Cloudera.

Documentar o conhecimento do ambiente legado para os times de engenharia.

REQUISITOS

Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas.

Mínimo de 6 anos de experiência com o ecossistema Hadoop, sendo pelo menos 4 anos com Cloudera CDH ou CDP.

Experiência mínima de 1 ano com Google Cloud em projetos ou ambientes de dados.

Disponibilidade para atuação 100% presencial em São Paulo e em janelas de implantação.

COMPETÊNCIAS COMPORTAMENTAIS

Didática para explicar o ambiente legado a times e especialistas de diferentes níveis.

Capacidade de investigar problemas de forma estruturada, com foco na causa raiz.

Colaboração próxima com os especialistas do cliente.

Organização na documentação e no compartilhamento do conhecimento técnico.

COMPETÊNCIAS TÉCNICAS

Experiência com Cloudera CDH ou CDP em produção e com o ecossistema Hadoop.

Domínio de Spark, PySpark, Hive e Impala em ambientes de produção de grande porte.

Experiência com Kudu, HBase, Kafka ou NiFi.

Conhecimento de segurança e governança no Cloudera: Ranger, Atlas e Kerberos.

Experiência com Google Cloud: Dataproc, BigQuery e Cloud Storage.

São diferenciais: experiência em migração de Cloudera ou Hadoop para nuvem; certificação Cloudera ou Google Cloud; experiência com Cloudera Data Engineering (CDE), Airflow, Apache Flink e CDC (Debezium); e atuação em instituições financeiras.

MODELO DE TRABALHO

Contratação: CLT + benefícios.

Salário: negociável.

Formato: 100% presencial.

Local: instituição financeira na Avenida Paulista, São Paulo/SP.