Senior Data Engineer — Machine Learning & Data Platform

remote-job.net Job-Zusammenfassung:

💶 Gehalt:	161.000
⏰ Wöchentliche Arbeitszeit:	Vollzeit
🔍 Empfohlene Erfahrung:	Senior
🎓 Empfohlene Ausbildung:	keine Angabe
📋 Hauptaufgaben:	Entwurf und Betrieb skalierbarer Datenpipelines und Orchestrierung (z. B. Prefect) Monitoring, Fehlerbehebung und Reprocessing großer Datensätze Integration und Anreicherung vielfältiger Datenquellen, Sicherstellung der Datenkonsistenz
✅ Hauptvoraussetzungen:	Sehr gute Python-Kenntnisse (Senior-Level) Erfahrung mit Workflow-Orchestrierungstools (Prefect/Airflow/Dagster) Erfahrung mit LLM-Integration, API-Interfacing und ETL/Prompt-Engineering
🏭 Branche:	AI & Health

Über das Unternehmen

Standort: New York City

Website: https://sanctuary.computer

Die Rolle wird über garden3d vermittelt – ein worker-owned Creative Collective, das an Marken, Communities, IoT-Geräten und plattformübergreifenden Apps arbeitet. garden3d teilt Gewinne, open-sourct Projekte, gründet Spin-offs und investiert in vielversprechende Ideen in Sach- und Geldleistungen. Zu den Kund:innen und Projekten des Kollektivs gehören bekannte Organisationen und Produkte aus Technologie, Kunst und Bildung.

Der konkrete Auftraggeber ist ein frühes AI-Startup mit Sitz in NYC im Bereich Health & Wellness (offen für Remote-Teammitglieder). Die Gründer haben Erfahrung beim Aufbau und Skalieren erfolgreicher Unternehmen.

Aufgaben

• Weiterentwicklung und Betrieb von Datenpipelines für strukturierte und unstrukturierte Daten (z. B. Web-Crawls, Scraper)
• Einführung einer skalierbaren, beobachtbaren Orchestrierungsschicht (z. B. Migration hin zu Prefect) und Treffen von Architekturentscheidungen
• Monitoring, Fehlerbehebung, Umgang mit Format-Drift und Reprocessing großer Batch-Datensätze
• Extraktion, Anreicherung und Integration neuer Datenquellen sowie Abgleich mit dem Core-Datenmodell
• Code-Reviews, Sicherstellung von Best Practices und Unterstützung von Team-Delivery, Budget und Zeitplan
• Gegebenenfalls Verhandlung mit Kund:innen zur Abstimmung von Scope, Budget und Timeline

Voraussetzungen

• Senior-Python-Kenntnisse
• Erfahrung mit Data-/Workflow-Orchestrierungstools (z. B. Prefect, Airflow, Dagster)
• Fundiertes Wissen zu ETL/Transformationen für LLM-Ingestion (OpenAI, Claude etc.) und Erfahrung mit LLM-Integrationen
• Praxis im Umgang mit APIs (z. B. OpenAI, Google Gemini/Vertex) und Wrapper-Bibliotheken
• Erfahrung in Prompt Engineering und Arbeit mit strukturierten Outputs / Tool-Calling
• Mindestens 5+ Jahre allgemeine Backend- oder nativer App-Entwicklung (z. B. Ruby on Rails, Elixir, Python, Node, React Native, Flutter, Android)
• Wünschenswert: Erfahrung mit GCP (Cloud Run, Cloud Tasks), Embeddings/Vector DBs, PySpark, Startup-Umfeld, Kundenkontakt, Produkt- und Engineering-Management

Benefits

• Konkurrenzfähige Vergütung (Angabe im Stellenposting: $150–200k/Jahr bzw. $125–175/Std.)
• Mögliche Equity-Beteiligung für passende Kandidat:innen
• Remote-Möglichkeit (NYC bevorzugt für Zusammenarbeit)
• Kreative, dezentrale und mitarbeiterorientierte Kultur (worker-owned collective)
• Arbeit an Projekten mit namhaften Kund:innen und vielfältigen technologischen Herausforderungen