Híbrido
São Paulo, SP, Brasil
Rango salarial
No informada
Nivel de experiencia
Nivel medio
Requisitos
Tareas y Responsabilidades
Show originalActuar desde el dato en bruto hasta la entrega para analytics, construyendo y manteniendo pipelines de ETL/ELT con Python y SQL, además de recopilar datos externos vía web scraping cuando sea necesario. El enfoque está en la calidad, trazabilidad, automatización y cumplimiento, evitando pipelines frágiles.
Responsabilidades
- Desarrollar y mantener pipelines de ETL/ELT con Python y SQL.
- Tratar y estandarizar datos, incluyendo limpieza, deduplicación, validaciones, reglas de negocio y enriquecimientos.
- Implementar web scraping de fuentes públicas, con control de tasa, reprocesamiento, versionado, logs y manejo de cambios en el sitio.
- Estructurar rutinas de recolección con tolerancia a fallos, por ejemplo reintentos, backoff y captura de errores.
- Crear capas de datos para consumo analítico, con documentación y diccionario de datos.
- Monitorear pipelines, crear alertas, métricas de calidad, auditoría y reconciliación.
- Trabajar con stakeholders para traducir necesidades de negocio en datos y especificaciones técnicas.
- Asegurar buenas prácticas de gobernanza, privacidad y uso adecuado de datos, especialmente para fuentes externas.
Requisitos
- Experiencia sólida con Python para manipulación de datos, automatización e integración.
- Experiencia con SQL y rutinas de transformación.
- Vivencia con pipelines de datos, ETL/ELT y publicación en data warehouse o data lake.
- Experiencia práctica con web scraping, incluyendo parsing HTML y mecanismos de paginación.
- Conocimiento de Git y buenas prácticas de desarrollo, pruebas y documentación.
Compartir vacante:
Compartir vacante: