C
Distinguished Engineer, Data Platform
Salary
302,500 EUR / Jahr
Auf einen Blick
Distinguished Engineer, Data Platform für CloudZero. Next-Generation Streaming Data Platform Architecture; 10+ Jahre Data Engineering mit Real Scale erforderlich.
💰 ~$320.000–420.000/Jahr (geschätzt)
📊 Lead
🕒 Vollzeit
🌍 Vor Ort
🗺️ Americas
- 10+ Jahre Data Engineering mit Principal/Staff Trajectory
- Built and Operated Large-Scale Data Platforms (Millions Events/Day)
- Deep Streaming Systems (Kafka, Kinesis, Flink, Spark)
- Modern Open Table Formats (Iceberg, Delta Lake, Hudi)
Data Architecture
Streaming Systems
Kafka/Kinesis/Flink
Iceberg/Delta Lake/Hudi
SQL
Cloud Data Warehouses
Python
System Design
Gehalt geschätzt anhand Distinguished Engineer Level in San Francisco mit 10+ Jahren Large-Scale Data Platform Erfahrung. Kein Gehalt in der Anzeige angegeben.
✅ Geeignet für
- Principal/Distinguished Data Engineers mit Streaming Platform Experience
- Architekten, die reale Large-Scale Platform Problems lösen wollen
🚫 Weniger geeignet
- Senior Data Engineers ohne Principal Level Trajectory
- Personen mit nur Batch Pipeline Erfahrung
- Remote-First Suchende (Onsite erforderlich)
💡 Gut zu wissen
- Nicht Consulting/Advising - echte End-to-End Ownership und Implementation
- Streaming Architecture ist unique - Batch-Only Hintergrund ist nicht ausreichend
- Billions of Events/Day bei Real-Time Attribution ist extreme Scale
- Leadership und Mentoring sind genauso wichtig wie Technical Depth
Über das Unternehmen
CloudZero ist ein SaaS-Unternehmen im Cloud-Cost-Management und FinOps. Ein Distinguished Engineer für die Data Platform wird die härtesten Infrastructure-Probleme lösen: Next-Generation Streaming Data Platform, Dimensional Cost Model, Hot/Cold Storage Architektur und Query Engine.
Deine Aufgaben
- Define Data Platform Architecture: End-to-End Technical Design für nächste-Generation Data Platform von Event Ingestion bis Query Layer und API
- RFC-getriebene Architektur-Dokumentation mit Tradeoff Analysis
- Drive Streaming Infrastructure to Production: Design von Real-Time Data Pipeline von Ingestion durch Enrichment bis Serving; SLO-Establishment für Throughput, Latency und Correctness
- Tackle Dimension Cardinality Problem: Redesign von Dimensional Cost Model für High-Cardinality Multi-Dimensional Attribution; Incremental Delta-Based Materialization
- Evolve Query Layer: Assessment von Current Query Infrastructure, In-Flight Migration Completion, Query Engine Layer Evolution
- Performance Optimization über Partition Pruning, Predicate Pushdown und Query Planning
- Extend Cost Attribution to Real-Time: Evolution von Batch zu Streaming Cost Attribution mit Seconds-Level Assignment
- Shape Data Engineering Roadmap: Multi-Year Platform Roadmap mit Product, Infrastructure und Analytics Engineering Partnership
- Elevate Engineering Team: Architecture Reviews, Design Patterns, Best Practices und Mentoring von Senior/Staff Engineers
Deine Voraussetzungen
- 10+ Jahre Data Engineering mit Trajectory zu Principal oder Staff Level Architecture
- Built and Operated Large-Scale Data Platforms mit Tens of Millions Events/Day in Production
- Deep Streaming Systems Erfahrung (Kafka, Kinesis, Flink, Spark Streaming) bei Real Production Throughput
- Strong Hands-On Fluency mit Modern Open Table Formats (Iceberg, Delta Lake, Hudi)
- Designed Hot/Cold Storage Architectures mit Explicit Latency SLOs per Tier
- Proven Ability zur End-to-End Data Platform Treibung
- Strong Communication und Influence Skills bei Cross-Functional Leadership
Benefits
- Real Platform Architecture Work bei Real Scale
- Billions of Events Daily Processing
- Streaming-First Architecture Migration