Auf einen Blick
Mid-Level Data Engineer bei Irth Solutions in Indien. Designt und baut Dateingestionsipelines in Databricks über AWS, Azure und GCP mit Fokus auf Medallion-Architektur, Datenqualität und Zuverlässigkeit.
💰 $75.000–105.000/Jahr
📊 Mid-Level
🕒 Vollzeit
🌍 Remote
🗺️ APAC
- Databricks und Spark Erfahrung
- Python und SQL Beherrschung
- Datentransformation und Qualität
Databricks
Apache Spark
SQL
Delta Lake
Data Quality
Change Data Capture
✅ Geeignet für
- Mid-Level Data Engineers
- Python/SQL-Spezialisten mit Databricks-Erfahrung
🚫 Weniger geeignet
- Anfänger in Datentechnik
- Nicht-Cloud-Profis
💡 Gut zu wissen
- Databricks und Spark sind zentral
- Multi-Cloud-Architektur (AWS, Azure, GCP)
- Zeitzonen-Unterschiede bei Koordination mit US-Teams
Über das Unternehmen
Irth Solutions ist ein führender Anbieter von Cloud-basierten SaaS-Software für Schadensschutz und Anlagenintegrität in Energie-, Versorgungsunternehmen und Infrastruktur.
Deine Aufgaben
- Konstruktion, Wartung und Verbesserung von Dateingestionsipelines über AWS, Azure und GCP
- Entwicklung von Batch- und Streaming-Pipelines mit Databricks Workflows, Apache Spark und SQL
- Implementierung von Medallion-Architektur-Mustern (Bronze → Silver → Gold)
- Implementierung von Change Data Capture (CDC) und Slowly Changing Dimensions (SCD Type 1 und 2)
- Implementierung von Datenschema-Validierung und Qualitätsregeln
- Konfiguration und Wartung von Delta Lake Storage Strukturen
- Implementierung von automatisierten Datenqualitätsprüfungen und Monitoring
- Aufbau und Überwachung von Produktions-Workflows mit Databricks Workflows und Delta Live Tables
- Leistungsoptimierung für Spark-Aufträge und SQL-Workloads
Deine Voraussetzungen
- 3-5 Jahre Erfahrung in Datentechnik oder ähnlichem
- Praktische Erfahrung mit Databricks und Apache Spark
- Starke SQL und Python Fähigkeiten
- Erfahrung mit Datentransformationen und Qualitätskontrolle
- Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP)
- Verständnis für Delta Lake und Medallion Architecture
- Git und CI/CD Praktiken
Benefits
- Remote-Position (Indien)
- Arbeit mit modernen Datenlösungen (Databricks, Azure, AWS, GCP)
- Expo gegenüber Multi-Cloud-Architektur
- Internationale Umgebung
