Cloud Data Solutions Engineer

Responsabilidades

• Diseñar y mantener la infraestructura de datos y pipelines de ingesta y procesamiento en Python, tanto batch como streaming, garantizando eficiencia, escalabilidad y consistencia.
• Diseñar, desplegar y gestionar soluciones cloud en plataformas multi-cloud (Azure, AWS y GCP), seleccionando los componentes y servicios más adecuados, optimizando costes y garantizando alta disponibilidad y rendimiento.
• Desarrollar y optimizar pipelines de datos con Python, PySpark, Pandas y Airflow, implementando procesos robustos para transformar y cargar grandes volúmenes de información.
• Desarrollar APIs para integración de datos y colaborar en la definición de estándares, observabilidad y gobernanza.
• Monitorizar y optimizar el rendimiento de pipelines, gestionando estrategias de backup, recuperación ante desastres y alta disponibilidad, asegurando seguridad, cumplimiento y trazabilidad mediante tecnologías como Apache Iceberg...