Especialista Databricks Unity Catalog

Missão do Cargo

Atuar na estruturação, implantação e evolução da governança da plataforma Databricks em AWS, com foco em Unity Catalog. Contribuir para a definição de arquiteturas de catálogos, modelos de acesso, segurança, proteção de dados sensíveis, linhagem e qualidade dos dados, além de automatizar configurações e promover a autonomia do time interno por meio de documentação e transferência de conhecimento.

Modelo: Remoto

Contratação: PJ ou Cooperado

Duração inicial: 3 meses, com possibilidade de extensão

Principais Responsabilidades

• Avaliar o ambiente atual de Databricks, incluindo workspaces, metastore, Hive Metastore legado e permissões.
• Elaborar diagnóstico do ambiente e plano de ação.
• Desenhar a hierarquia de catálogos e schemas por domínio, ambiente e camada de dados.
• Definir padrões de nomenclatura e organização dos dados.
• Estruturar o modelo de acessos, permissões e privilégio mínimo.
• Configurar storage credentials, external locations e managed storage em S3.
• Trabalhar com IAM Roles, Trust Policies e integração de identidade.
• Apoiar a configuração de catalog binding entre workspaces.
• Conduzir ou apoiar a migração do Hive Metastore para o Unity Catalog.
• Implementar mecanismos de proteção para dados sensíveis, como CPF, CNPJ e dados de crédito.
• Trabalhar com tags, column masks, row filters e políticas ABAC.
• Habilitar e configurar recursos de linhagem, auditoria e descoberta de dados.
• Apoiar a implantação de controles de qualidade de dados.
• Automatizar configurações utilizando Terraform.
• Garantir o versionamento e a documentação das configurações.
• Elaborar playbooks, runbooks e documentação de boas práticas.
• Realizar passagem de conhecimento para o time interno e DataOps.
• Apoiar a autonomia do time interno ao final do projeto.

Databricks e Unity Catalog

• Experiência prática com Databricks em ambientes produtivos.
• Experiência com implantação e administração do Unity Catalog.
• Estruturação de catalogs, schemas e objetos de dados.
• Definição de modelos de acesso e permissões.
• Experiência com ownership por grupos e service principals.
• Experiência com privilege management e least privilege.
• Experiência com managed tables e external tables.
• Experiência com Hive Metastore e migração para Unity Catalog.
• Conhecimento de UCX, SYNC e CTAS.
• Experiência com data lineage e recursos de auditoria.

AWS e Infraestrutura

• Experiência com Databricks em AWS.
• Conhecimento de Amazon S3.
• Experiência com AWS IAM, IAM Roles e Trust Policies.
• Conhecimento de SCIM e SSO.
• Experiência com Storage Credentials e External Locations.
• Conhecimento de integração entre Databricks e recursos da AWS.
• Experiência com Terraform aplicado ao Databricks.
• Conhecimento de versionamento e automação de infraestrutura.

Dados, Segurança e Governança

• Conhecimento de SQL avançado.
• Experiência com Python e PySpark.
• Conhecimento de Delta Lake.
• Experiência com proteção de dados sensíveis e pessoais.
• Conhecimento de LGPD e governança de dados.
• Experiência com Column Masks e Row Filters.
• Conhecimento de Tags e políticas ABAC.
• Experiência com Data Lineage.
• Conhecimento de System Tables, auditoria e monitoramento.
• Experiência com governança em ambientes regulados ou com dados sensíveis.
• Conhecimento de qualidade e descoberta de dados.

Qualidade de Dados

• Apoiar a implantação de controles de qualidade sobre os ativos catalogados.
• Conhecimento de Lakeflow/DLT e Expectations.
• Conhecimento de Lakehouse Monitoring.
• Conhecimento de ferramentas de Data Quality Monitoring.
• Apoiar a integração entre governança e qualidade de dados.

Requisitos

• Experiência de 5+ anos em Engenharia ou Governança de Dados.
• Experiência de 2+ anos com Databricks.
• Experiência comprovada com implantação de Unity Catalog em produção.
• Experiência com modelo de permissões e governança de acessos.
• Experiência com migração do Hive Metastore para Unity Catalog.
• Experiência com Databricks em AWS.
• Conhecimento de S3, IAM, SCIM e SSO.
• Conhecimento avançado de SQL.
• Experiência com Python/PySpark.
• Conhecimento em Delta Lake.
• Experiência com Terraform aplicado ao Databricks.
• Experiência com governança de dados e LGPD.
• Vivência com ambientes regulados, preferencialmente financeiro, crédito ou seguros.
• Excelente comunicação oral e escrita.
• Capacidade de conduzir workshops e alinhamentos técnicos.
• Capacidade de documentar soluções e realizar transferência de conhecimento.

Diferenciais

• Certificação Databricks Data Engineer Professional.
• Certificação Databricks Platform Administrator.
• Conhecimento em Delta Sharing.
• Conhecimento em Lakehouse Federation.
• Experiência com Unity Catalog para modelos e MLflow.
• Experiência com Great Expectations, Soda ou dbt Tests.
• Experiência com Collibra, Purview, DataHub ou Atlan.
• Experiência com integração de catálogos corporativos ao Unity Catalog.

Características Comportamentais

• Perfil analítico e investigativo.
• Excelente capacidade de comunicação.
• Facilidade para conduzir workshops e reuniões técnicas.
• Organização e atenção aos detalhes.
• Capacidade de atuar de forma autônoma e hands-on.
• Facilidade para trabalhar com equipes de Engenharia, DataOps e Qualidade de Dados.
• Proatividade na identificação de problemas e oportunidades de melhoria.
• Capacidade de transformar conhecimento técnico em documentação clara e estruturada.
• Boa capacidade de negociação e alinhamento com diferentes stakeholders.
• Senso de responsabilidade sobre as entregas.
• Capacidade de compartilhar conhecimento e desenvolver a autonomia do time interno.
• Perfil sênior, com maturidade para conduzir decisões e entregas de forma independente.

Tecnologias e Conhecimentos da Posição

Obrigatórios:

Databricks | Unity Catalog | AWS | S3 | IAM | SCIM | SSO | Hive Metastore | SQL | Python | PySpark | Delta Lake | Terraform | Data Governance | Data Lineage | Data Quality | LGPD | Column Masks | Row Filters | ABAC

Diferenciais:

Databricks Data Engineer Professional | Databricks Platform Administrator | Delta Sharing | Lakehouse Federation | MLflow | Lakeflow/DLT | Lakehouse Monitoring | Great Expectations | Soda | dbt Tests | Collibra | Purview | DataHub | Atlan