Analista de Dados III- 132165

O que buscamos:

Buscamos uma pessoa Engenheiro (a) de Dados Sênior para atuar na construção, evolução e sustentação de soluções de dados escaláveis, contribuindo para a transformação de dados em informações estratégicas para o negócio.  perfil analítico e visão de arquitetura, capazes de atuar em ambientes complexos e colaborar com equipes multidisciplinares para garantir a qualidade, confiabilidade e disponibilidade dos dados.

Responsabilidades:

• Desenvolvimento de Pipelines: Construir e manter fluxos de dados escaláveis utilizando Python e PySpark dentro da plataforma Databricks.

• Arquitetura Lakehouse: Implementar e otimizar camadas de dados (Bronze, Silver, Gold) utilizando Delta Tables, garantindo a integridade e a performance das consultas.

• Processamento Híbrido: Desenvolver soluções de ingestão e transformação tanto em Batch quanto em Streaming (Structured Streaming), focando em baixa latência.

• Orquestração e Automação: Configurar e monitorar o agendamento de fluxos produtivos, garantindo o cumprimento das janelas de carga e SLAs.

• Qualidade e Governança: Aplicar testes unitários e de integração nos pipelines, garantindo que o dado entregue seja confiável e esteja em conformidade com as regras de negócio.

Requisitos:

• Domínio de Python: Conhecimento avançado para criação de bibliotecas, funções modulares e manipulação de grandes volumes de dados.

• Framework Spark: Experiência sólida em PySpark (Spark SQL e DataFrames API) para processamento distribuído.

• Especialista Databricks: Vivência profunda na plataforma, incluindo configuração de Jobs, otimização de clusters e uso de Delta Lake.

• Versionamento: Domínio de Git (Gitflow, Pull Requests, Code Review).

• Orquestração: Desejável experiência com Control-M para automação de fluxos complexos e gestão de dependências.

Desejáveis / Diferencial:

• Experiência com CI/CD aplicado a dados (Azure DevOps, Jenkins ou GitHub Actions).

• Familiaridade com infraestrutura em nuvem (Azure, AWS ou GCP).

• Conhecimento em SQL avançado para validação de dados e tuning.

 • Participação em projetos complexos envolvendo grandes volumes de dados

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT