Job Description
Descrição da vaga
A FCamara está em busca de uma pessoa Engenheira de Dados Sênior, responsável por projetar, implementar e otimizar pipelines de dados para coleta, ingestão, transformação e armazenamento de grandes volumes de dados, garantindo a excelência técnica em ambientes Cloud Native, com foco total em otimização de custos (FinOps), alta disponibilidade e governança de dados no ecossistema Google Cloud Platform. Atua na construção de uma infraestrutura robusta para suportar análises complexas e decisões baseadas em dados
Responsabilidades e atribuições
Responsabilidades:
· Integração e Coleta de Dados: Agrega dados estruturados, semiestruturados e não estruturados de diversas fontes (bancos de dados, APIs, arquivos);
· Ingestão de Dados em Tempo Real e Lote: Desenvolve arquiteturas de ingestão escaláveis utilizando Pub/Sub para streaming e Cloud Storage/Dataflow para processamento batch, garantindo a integridade dos dados no Big Query;
· Processamento e Transformação de Dados: Constrói pipelines para transformar dados brutos com processos de padronização, deduplicação, filtragem e enriquecimento;
· Governança e Operação: Gerencia a orquestração via Cloud Composer com foco em idempotência e resiliência, implementa monitoramento proativo (logs/alertas) e documentação técnica para garantir a continuidade e manutebilidade das soluções;
· Otimização de Performance: Lidera iniciativas de FinOps, otimizando o consumo de slots no BigQuery, custos de storage e eficiência de Jobs no Dataflow/Dataproc para reduzir o TCO (Total Cost of Ownership);
Requisitos e qualificações
REQUISITOS:
Superior Completo nas áreas de Tecnologia da Informação, tais como, Sistemas de Informação, Ciências da Computação, Engenharia da Computação.
EXPERIÊNCIA:
· Entre 5 a 8 anos de experiência em Engenharia de Dados ou funções semelhantes;
· Domínio avançado de SQL e Python (foco em manipulação de grandes volumes e atuomação), experiência com Java será considerada um diferencial para pipelines customizados em Dataflow;
· Sólida experiência em arquiteturas modern ETL/ELT, domínio de Cloud Composer (Airflow) para orquestração e Dataflow (Apache Beam) ou dbt para transformação;
· Expertise no ecossistema GCP: BigQuery (Partitioning/Clustering), Dataproc, Cloud Functions e IAM para segurança de dados;
· Experiência com arquitetura de Data Lakes e Data Warehouses, incluindo modelagem de dados e otimização de pipelines de dados;
· Proficiência em Terraform (Iac) e Azure Pipelines (CI/CD), para gestão de versionamento no Azure Repos e artegatos
· Habilidade comprovada em monitoramento e troubleshooting de processos complexos em abientes de produção.
COMPETÊNCIAS PROFISSIONAIS INSTITUCIONAIS EXIGIDAS:
Proatividade: Antecipar-se para alcançar resultados;
Flexibilidade: Adaptar-se rapidamente a novas tecnologias e processos;
Trabalho em Equipe: Colaborar eficazmente com equipes multidisciplinares;
Comprometimento: Assumir responsabilidade e compromisso com as atividades.
COMPETÊNCIAS ESPECÍFICAS EXIGIDAS – COMPORTAMENTAIS
Pensamento Analítico: Pensamento analítico para solução de problemas complexos e busca constante por aprendizado e aprimoramento técnico.
COMPETÊNCIAS ESPECÍFICAS EXIGIDAS –TÉCNICAS
Arquitetura e Soluções de Dados – Capacidade de desenhar e implementar fluxos complexos de dados, equilibrando performance técnica e viabilidade financeira (FinOps).
RESPONSABILIDADE POR RESULTADO
Garante a disponibilidade, integridade e o custo-benefício da arquitetura de dados, assegurando que o Lakehouse acompanhe o crescimento da empresa. É responsável pela evolução técnica contínua e pela redução de débitos técnicos nos pipelines de dados.
AUTONOMIA
Atua com autonomia técnica total para propor melhorias e novas arquiteturas, reportando progresso e alinhando decisões estratégicas com a liderança de Dados e Analytics.