Data Engineer (Python, Spark & ETL)

Über das Unternehmen

ALIQAN Technologies mit Hauptsitz in New Delhi ist ein führendes IT-Services- und Beratungsunternehmen mit 11–50 Mitarbeitenden. Das Unternehmen bietet umfassende Software- und Webentwicklungslösungen und integriert Design sowie Qualitätsservices, um Kunden alle IT-bezogenen Bedürfnisse an einem Ort bereitzustellen.

Website: http://aliqantechnologies.com

Aufgaben

• Entwurf, Implementierung und Wartung skalierbarer, effizienter und zuverlässiger Datenarchitekturen für verschiedene Geschäftsanforderungen.
• Entwicklung und Optimierung robuster Datenpipelines zur Verarbeitung strukturierter und unstrukturierter Daten mit hoher Datenqualität und geringer Latenz.
• Einsatz von Microsoft Fabric zur Erstellung von Enterprise-Datenlösungen und zur Integration über Services hinweg.
• Zusammenarbeit mit Data Scientists, Analysten und Produktteams zur Umsetzung datengetriebener Innovationen.
• Einführung und Pflege von Best Practices in Datenmodellierung, ETL-Entwicklung und Workflow-Orchestrierung.
• Monitoring und Troubleshooting von Datenprozessen und proaktives Beheben von Problemen zur Sicherstellung der Datenverfügbarkeit.
• Implementierung von DevOps-Methoden für Continuous Integration und Delivery in Datenprojekten.
• Sicherstellung der Einhaltung von Data-Governance-Standards und Dokumentation aller Datenprozesse.
• Mentoring und fachliche Unterstützung von Junior Data Engineers.
• Verfolgung neuer Technologien und Empfehlung von Tools zur Verbesserung des Daten-Ökosystems.

Voraussetzungen

• Nachweisliche Expertise mit Microsoft Fabric (verpflichtend).
• 7–10 Jahre praktische Erfahrung im Data Engineering.
• Erfahrung in Datenmodellierung und Übersetzung von Geschäftsanforderungen in skalierbare Datenmodelle.
• Fortgeschrittene Kenntnisse in Python zur Erstellung von Datenpipelines und Automatisierung.
• Umfassende SQL-Kenntnisse für Datenmanipulation, Transformation und Aggregation.
• Erfahrung mit Cloud-Datenplattformen (Azure, AWS oder Google Cloud) für skalierbaren Speicher, Integration und Sicherheit.
• Grundlagen in DevOps-Praktiken zur Automatisierung und stabilen Infrastruktur.
• Fähigkeit zur Analyse technischer und geschäftlicher Probleme und Abwägung von Kosten, Geschwindigkeit und Zuverlässigkeit.
• Gute Kommunikations- und Kollaborationsfähigkeiten für die Arbeit mit cross-funktionalen Teams.
• Erfahrung mit Data Governance, Datenqualität und Dokumentationsstandards.

Benefits

• Remote-Arbeitsmöglichkeit mit Basis in Bangalore (im Stellenangebot angegeben).
• Möglichkeit zur Arbeit mit modernen Cloud- und Datenplattformen (Microsoft Fabric, Azure, etc.).
• Mentoring und Zusammenarbeit in funktionsübergreifenden Teams und Gelegenheit zur fachlichen Weiterentwicklung.