Job Description
<h3>📋 Description</h3> • Concevoir, développer et maintenir des pipelines de données ETL/ELT robustes et évolutifs en utilisant Databricks, Python et SQL.
• Intégrer des données provenant de sources multiples (bases de données, fichiers, APIs, etc.)
• Transformer et nettoyer les données pour garantir leur qualité et leur cohérence.
• Automatiser les tâches de traitement de données pour une exécution efficace et fiable.
• Mettre en place des processus de surveillance et d'alerte pour garantir la disponibilité et la santé des pipelines.
• Collaborer avec les analystes de données et les scientifiques de données pour comprendre leurs besoins en matière de données et leur fournir des données de haute qualité.
• Documenter les pipelines de données et les processus de manière claire et concise.
• Rester à jour sur les dernières technologies et tendances en matière de Big Data et d'analyse de données. <h3>🎯 Requirements</h3> • Diplôme d'ingénieur informatique, de mathématiques, de statistiques ou d'un domaine connexe.
• Maitrise de l’anglais, à l'écrit et à l'oral.
• Minimum 5 ans d'expérience en tant que Data Engineer.
• Expertise en Databricks, Python et SQL.
• Expérience en matière d'intégration de données, de transformation de données et de nettoyage de données.
• Solide compréhension des architectures de données Big Data.
• Expérience en matière de développement de pipelines de données batch et streaming.
• Expérience en matière de mise en place de processus de surveillance et d'alerte.
• Excellentes compétences en communication et en collaboration.
• Capacité à travailler de manière autonome et à gérer plusieurs projets simultanément.
• Esprit d'équipe et volonté de partager ses connaissances.