Auf einen Blick
Mid-Level Data Engineer bei Irth Solutions in Québec/Kanada. Designt und baut High-Volume-Dateingestionsipelines in Databricks mit Fokus auf Medallion-Architektur, Schema-Evolution und Datenqualität für Stakeholder Engagement-Angebote.
💰 CAD 85.000–115.000/Jahr
📊 Mid-Level
🕒 Vollzeit
🌍 Remote
🗺️ Americas
- Databricks und SQL Erfahrung
- High-Volume Dateneingestion
- Französisch und Englisch
Databricks
SQL
Data Ingestion
Delta Lake
Monitoring
✅ Geeignet für
- Mid-Level Data Engineers
- Pipeline-Spezialisten mit API-Erfahrung
🚫 Weniger geeignet
- Anfänger in Datentechnik
- Non-Databricks-Profis
💡 Gut zu wissen
- Québec-Position: Französisch und Englisch erforderlich
- High-Volume API-Datenquellen-Fokus
- Zusammenarbeit mit Data Science und ML Teams
Über das Unternehmen
Irth Solutions ist ein führender Anbieter von Cloud-basierten SaaS-Software für Schadensschutz und Anlagenintegrität in Energie-, Versorgungsunternehmen und Infrastruktur.
Deine Aufgaben
- Designen, Aufbau und Wartung von Dateingestionsipelines von High-Volume-Quellen
- Implementierung von Ingestion- und Transformations-Workflows mit Databricks (Spark/PySpark, SQL, Delta Live Tables)
- Anwendung von Medallion-Architektur-Patterns (Bronze → Silver → Gold)
- Aufbau der Infrastruktur für Deduplizierung und Relevanz-Filtering
- Implementierung von Schema-Evolution Handling und Datenvalidierungsregeln
- Konfiguration und Verwaltung von Delta Lake Storage Strukturen, Tabellen, Partitionen
- Design von Datenschemas für Balance zwischen Query-Leistung, Kosten und Wartbarkeit
- Fehlerbehandlung, Monitoring und Alerting für kontinuierlich laufende Systeme
- Anpassung an sich ändernde externe API-Verträge und neue Datenquellen
- Enge Zusammenarbeit mit Data Scientists zur Unterstützung von ML/NLP-Pipelines
Deine Voraussetzungen
- 3-5 Jahre Erfahrung in Datentechnik
- Praktische Erfahrung mit Databricks und SQL
- Erfahrung mit High-Volume-Datenaufnahme und API-Integration
- Verständnis für Datenschema und Performance-Optimierung
- Erfahrung mit Monitoring und Observability
- Französisch und Englisch fließend (für Position in Québec)
Benefits
- Remote-Position (Québec/Kanada)
- Moderne Databricks-Plattform
- Zusammenarbeit mit Data Scientists
- Flexible Remote-Umgebung
