Distinguished Engineer, Data Platform

San Francisco On-site Lead 10 days ago
backend-developer Data Engineer Software Engineer
Salary 302,500 EUR / Jahr
Auf einen Blick

Distinguished Engineer, Data Platform für CloudZero. Next-Generation Streaming Data Platform Architecture; 10+ Jahre Data Engineering mit Real Scale erforderlich.

💰 ~$320.000–420.000/Jahr (geschätzt) 📊 Lead 🕒 Vollzeit 🌍 Vor Ort 🗺️ Americas
  • 10+ Jahre Data Engineering mit Principal/Staff Trajectory
  • Built and Operated Large-Scale Data Platforms (Millions Events/Day)
  • Deep Streaming Systems (Kafka, Kinesis, Flink, Spark)
  • Modern Open Table Formats (Iceberg, Delta Lake, Hudi)
Data Architecture Streaming Systems Kafka/Kinesis/Flink Iceberg/Delta Lake/Hudi SQL Cloud Data Warehouses Python System Design

Gehalt geschätzt anhand Distinguished Engineer Level in San Francisco mit 10+ Jahren Large-Scale Data Platform Erfahrung. Kein Gehalt in der Anzeige angegeben.

✅ Geeignet für
  • Principal/Distinguished Data Engineers mit Streaming Platform Experience
  • Architekten, die reale Large-Scale Platform Problems lösen wollen
🚫 Weniger geeignet
  • Senior Data Engineers ohne Principal Level Trajectory
  • Personen mit nur Batch Pipeline Erfahrung
  • Remote-First Suchende (Onsite erforderlich)
💡 Gut zu wissen
  • Nicht Consulting/Advising - echte End-to-End Ownership und Implementation
  • Streaming Architecture ist unique - Batch-Only Hintergrund ist nicht ausreichend
  • Billions of Events/Day bei Real-Time Attribution ist extreme Scale
  • Leadership und Mentoring sind genauso wichtig wie Technical Depth

Über das Unternehmen

CloudZero ist ein SaaS-Unternehmen im Cloud-Cost-Management und FinOps. Ein Distinguished Engineer für die Data Platform wird die härtesten Infrastructure-Probleme lösen: Next-Generation Streaming Data Platform, Dimensional Cost Model, Hot/Cold Storage Architektur und Query Engine.

Deine Aufgaben

  • Define Data Platform Architecture: End-to-End Technical Design für nächste-Generation Data Platform von Event Ingestion bis Query Layer und API
  • RFC-getriebene Architektur-Dokumentation mit Tradeoff Analysis
  • Drive Streaming Infrastructure to Production: Design von Real-Time Data Pipeline von Ingestion durch Enrichment bis Serving; SLO-Establishment für Throughput, Latency und Correctness
  • Tackle Dimension Cardinality Problem: Redesign von Dimensional Cost Model für High-Cardinality Multi-Dimensional Attribution; Incremental Delta-Based Materialization
  • Evolve Query Layer: Assessment von Current Query Infrastructure, In-Flight Migration Completion, Query Engine Layer Evolution
  • Performance Optimization über Partition Pruning, Predicate Pushdown und Query Planning
  • Extend Cost Attribution to Real-Time: Evolution von Batch zu Streaming Cost Attribution mit Seconds-Level Assignment
  • Shape Data Engineering Roadmap: Multi-Year Platform Roadmap mit Product, Infrastructure und Analytics Engineering Partnership
  • Elevate Engineering Team: Architecture Reviews, Design Patterns, Best Practices und Mentoring von Senior/Staff Engineers

Deine Voraussetzungen

  • 10+ Jahre Data Engineering mit Trajectory zu Principal oder Staff Level Architecture
  • Built and Operated Large-Scale Data Platforms mit Tens of Millions Events/Day in Production
  • Deep Streaming Systems Erfahrung (Kafka, Kinesis, Flink, Spark Streaming) bei Real Production Throughput
  • Strong Hands-On Fluency mit Modern Open Table Formats (Iceberg, Delta Lake, Hudi)
  • Designed Hot/Cold Storage Architectures mit Explicit Latency SLOs per Tier
  • Proven Ability zur End-to-End Data Platform Treibung
  • Strong Communication und Influence Skills bei Cross-Functional Leadership

Benefits

  • Real Platform Architecture Work bei Real Scale
  • Billions of Events Daily Processing
  • Streaming-First Architecture Migration