Data Engineer

Data Engineer

Responsabilidades:

• Diseñar, implementar y mantener pipelines de datos eficientes para la extracción, transformación y carga (ETL) de grandes volúmenes de datos, asegurando la calidad, integridad y disponibilidad de los mismos.
• Optimizar los flujos de procesamiento de datos y colaborar estrechamente con Arquitectos de Datos y Científicos de Datos para proporcionar datos confiables, accesibles y útiles para el análisis y la toma de decisiones.
• Automatizar y optimizar los procesos de integración de datos para garantizar escalabilidad y robustez en entornos cloud.
• Realizar monitoreo, depuración y optimización de trabajos ETL para asegurar un rendimiento continuo y confiable.
• Aplicar mejores prácticas de gobernanza de datos, seguridad y validación de calidad para garantizar la precisión y consistencia de los datos en los diferentes sistemas.

Tecnologías y Herramientas:

• Frameworks ETL: Apache Airflow, Luigi, dbt.
• Lenguajes de Programación: Python, SQL, Scala.
• Bases de Datos y Almacenamiento: MSSQL, Redshift, Snowflake, Delta Lake, Azure.
• Plataformas Cloud: Azure Data Factory, AWS Lambda, Google Cloud Dataflow.
• Big Data: Apache Spark, Hadoop, Kafka (procesamiento en tiempo real).
• Metodologías: CI/CD, TDD, Pruebas de Calidad de Datos y Monitoreo, Validación Automática de Datos.

Experiencia Deseada:

• Experiencia sólida en herramientas de orquestación, automatización de pipelines de datos y procesamiento en tiempo real en entornos cloud.
• Conocimiento avanzado en la optimización de pipelines ETL, asegurando flujos de datos eficientes y manteniendo la calidad de los datos.
• Experiencia práctica con plataformas cloud (Azure, AWS, GCP), tecnologías de Big Data (Spark, Hadoop, Kafka) y procesamiento de datos en tiempo real.
• Experiencia en la integración de validaciones automáticas de calidad de datos y monitoreo en los pipelines de datos.

Requisitos:

• Título universitario en Ciencias de la Computación, Ingeniería o un área relacionada, o experiencia equivalente.
• Experiencia comprobada como Ingeniero/a de Datos, con un enfoque fuerte en la construcción de pipelines de datos escalables y optimizados en entornos cloud.
• Capacidad para colaborar eficazmente con equipos multidisciplinarios, incluyendo Ciencia de Datos y Arquitectura de Datos, para comprender y satisfacer las necesidades de datos del negocio.

Por qué elegir Zurich

En Zurich, nos gusta pensar con originalidad y desafiar el statu quo. Adoptamos un enfoque optimista centrándonos en los aspectos positivos y preguntándonos constantemente ¿Qué puede salir bien?

Somos un empleador que ofrece igualdad de oportunidades y que sabe que cada colaborador es único ¡lo que hace que nuestro equipo sea el mejor! 

Colabora con nosotros mientras exploramos constantemente nuevas formas de proteger a nuestros clientes y al planeta.