Auf einen Blick
Entwerfe und verwalte hochperformante ETL-Pipelines und Dateninfrastruktur auf Databricks für eine regulierte Kryptoplattform. Nutze Apache Spark und AWS zur Verarbeitung großer Datenmengen.
💰 $50.000–80.000/Jahr
📊 Senior
🕒 Vollzeit
🌍 Vor Ort
🗺️ APAC
- 5+ Jahre Data Engineer-Erfahrung
- Profundität in Databricks und Delta Lake
- Apache Spark und AWS Kenntnisse
- Python oder Scala für Entwicklung
Python
Spark
Databricks
Kafka
AWS
ETL
✅ Geeignet für
- Senior Data Engineer mit Spark-Erfahrung
- Profis mit Databricks/Delta Lake-Kenntnissen
- Kandidaten, die an massiven Datenmengen arbeiten möchten
🚫 Weniger geeignet
- Datenbank-Administratoren ohne ETL-Erfahrung
- Kandidaten mit limitierter Cloud-Erfahrung
- Personen ohne Python/Scala-Kenntnisse
💡 Gut zu wissen
- Rolle erfordert tiefes Verständnis von Datenmodellierung
- Databricks-Plattform ist zentral – Schulung möglich aber Grundverständnis erforderlich
- Real-Time-Datenverarbeitung und komplexe Pipeline-Logik sind täglich
Über das Unternehmen
Coins ist die etablierteste Kryptowährungsplattform auf den Philippinen mit über 18 Millionen vertrauensvollen Nutzern. Das Unternehmen ist vollständig reguliert und das erste in Asien mit beiden zentralen Banklizenzen.
Deine Aufgaben
- Entwerfe, entwickle und verwalte hochskalierbare, zuverlässige Datenverarbeitungssysteme
- Arbeite eng mit Datenanalysten und Business-Stakeholdern zusammen
- Entwickle und verwalte ETL-Pipelines für Databricks
- Führe Real-Time-Datenverarbeitung mit Spark Streaming und Kafka durch
- Etabliere strenge Datenqualität und Validierungsprüfungen
- Überwache und optimiere Datenverarbeitungssysteme kontinuierlich
- Nutze AWS-Services (EC2, S3, Glue) zur Bereitstellung von Dateninfrastruktur
- Implementiere robuste Sicherheitsmaßnahmen für sensible Datenassets
Deine Voraussetzungen
- Bachelor- oder Master-Abschluss in Informatik oder verwandtem Bereich
- Mindestens 5 Jahre praktische Erfahrung als Data Engineer
- Gutes Verständnis der Databricks-Plattform und Delta Lake
- Profundität in Scala, Java oder Python
- Tiefe Expertise in Apache Spark für ETL-Verarbeitung
- Profundität in Metabase oder ähnlichen BI-Tools
- Fortgeschrittenes Verständnis von Datenmodellierung und Daten-Governance
- Umfangreiche AWS-Erfahrung mit EC2, S3, Glue
- Erfahrung mit Terraform und DevOps-Tools
- Fließendes Englisch in Schrift und Sprache