Senior Data Platform Engineer

remote-job.net Job-Zusammenfassung:

💶 Gehalt:	keine Angabe
⏰ Wöchentliche Arbeitszeit:	Vollzeit
🔍 Empfohlene Erfahrung:	Senior
🎓 Empfohlene Ausbildung:	keine Angabe
📋 Hauptaufgaben:	Entwicklung und Skalierung robuster Datenpipelines und Orchestrierung (z. B. Prefect) Monitoring, Fehlerbehebung und Reprocessing großer Datensätze Integration neuer Datenquellen und Abstimmung mit dem Anwendungsdatenmodell
✅ Hauptvoraussetzungen:	Senior-Level Python-Kenntnisse Erfahrung mit Workflow-Orchestrierungstools (Prefect/Airflow/Dagster) und ETL für LLM-Ingestion Mindestens 5+ Jahre Erfahrung in Backend- oder nativer App-Entwicklung; API-Integration und Practical Prompt Engineering
🏭 Branche:	Healthcare

Über das Unternehmen

garden3d ist ein von Arbeitenden geführtes Kreativkollektiv, das an Marken, IRL-Communities, IoT-Geräten und plattformübergreifenden Apps arbeitet. Gewinne werden geteilt, viele Projekte werden Open Source veröffentlicht, neue Unternehmen ausgegründet und in vielversprechende Ideen finanziell oder in Form von Sachleistungen investiert.

Das Team betreut Kund:innen aus diversen Bereichen (u. a. Google, Stripe, Figma, Hinge, Mozilla, MIT) und hat an Produkten wie The Light Phone und Mill mitgewirkt. Für diesen Auftrag sucht garden3d im Auftrag eines Early-Stage AI-Startups im Bereich Gesundheit & Wellness einen Senior Data Engineer.

Das Startup hat seinen Sitz in New York City, ist aber offen für entfernte Mitarbeitende.

Aufgaben

• Entwicklung, Betrieb und Optimierung von Datenpipelines für strukturierte und unstrukturierte Daten (Webcrawls, Scraper etc.)
• Migration/Skalierung der bestehenden, in-house definierten Workflows hin zu einer beobachtbaren Orchestrierungsschicht (z. B. Prefect)
• Monitoring, Fehlerbehebung und Umgang mit Formatdrift
• Extraktion, Anreicherung und Validierung großer Datensätze in Batch-Workflows
• Design und Integration neuer Datenquellen in bestehende Pipelines
• Abstimmung und Integration extrahierter Daten mit dem Kern-Anwendungsdatenmodell
• Teilnahme an Code-Reviews und Sicherstellung von Best Practices

<li-Unterstützung bei Budget-, Scope- und Zeitplanung; ggf. Abstimmung mit Kund:innen

Voraussetzungen

• Senior-Level Python-Expertise
• Erfahrung mit Daten-/Workflow-Orchestrierung (z. B. Prefect, Airflow, Dagster)
• Tiefes Verständnis von ETL & Daten-Transformationen für die Ingestion von LLM-relevanten Daten (OpenAI, Anthropic/Claude etc.)
• Vertrautheit mit Large Language Models und API-Integration (OpenAI, Google Gemini/Vertex) sowie Wrapper-Bibliotheken (Instructor, LiteLLM etc.)
• Praktische Erfahrung im Prompt Engineering und im Umgang mit strukturierten Outputs / Tool-Calling
• Mindestens 5+ Jahre Erfahrung im Backend- oder nativen App-Development (z. B. Ruby on Rails, Elixir Phoenix, Python Django, Node, React Native, Flutter, Kotlin/Java)
• Nice-to-have: Erfahrung mit GCP (Cloud Run, Cloud Tasks), Embeddings/Vector DBs, PySpark, Client- oder Produktmanagement- bzw. Engineering-Management-Erfahrung

Benefits

• Hohe Stundensätze (siehe Vergütungsskala)
• Möglichkeit auf Equity bei langfristiger Ausrichtung
• Arbeiten im kreativen, kollektiven Umfeld mit Fokus auf Diversität und Work-Life-Balance
• Flexibilität hinsichtlich Remote-Arbeit; NYC-Präsenz bevorzugt, aber nicht zwingend
• Mitarbeit an spannenden AI- und Gesundheits-/Wellness-Projekten und Zugang zu vielfältigen Kund:innen