Back to jobs
Job Description
Zona de trabajo: Polanco CDMX
Asignación hibrida: Dos a tres días a la semana en oficinas del cleiente
Diseñar la arquitectura técnica de Jobs Spark para procesamiento de grandes volúmenes de datos.
Liderar el desarrollo y optimización de procesos ETL completos.
Definir estrategias de particionamiento, distribución y almacenamiento de datos.
Analizar rendimiento de Jobs y aplicar técnicas avanzadas de tuning.
Resolver incidentes productivos relacionados con procesos batch.
Revisar código y mentorizar perfiles JR/TR.
Documentar arquitectura, flujos y decisiones técnicas clave.
Coordinar con equipos de infraestructura y DevOps para despliegue y monitoreo.
Colaborar con perfiles SR en definición de estándares y mejores prácticas.
Asegurar calidad, estabilidad y cumplimiento de lineamientos técnicos en ambientes productivos.
Perfil orientado al diseño y liderazgo técnico en el desarrollo de Jobs batch para procesamiento masivo de datos, responsable de la construcción, optimización y evolución de procesos ETL utilizando Python, SQL y Apache Spark en entornos distribuidos.
Se requiere experiencia sólida en el diseño de pipelines de datos escalables capaces de procesar grandes volúmenes de información, aplicando principios avanzados de computación distribuida, optimización de rendimiento y gestión eficiente de recursos en clústeres Spark.
El perfil debe contar con conocimientos en:
Diseño de arquitectura de pipelines batch.
Transformaciones optimizadas con DataFrames en Spark.
Optimización avanzada de queries y procesos ETL.
Modelado y estructuración eficiente de datos en formatos como Parquet.
Buenas prácticas de ingeniería, versionamiento, revisiones de código y estándares técnicos.
Se espera capacidad para tomar decisiones técnicas, proponer mejoras estructurales en pipelines existentes, garantizar estabilidad en producción y fungir como referente técnico para perfiles JR/TR.