Senior Data Engineer (ETL & Data Platform)

Über das Unternehmen

garden3d ist ein worker-owned Creative Collective, das an Marken, physischen Communities, IoT-Geräten und plattformübergreifenden Apps arbeitet. Das Kollektiv teilt Gewinne, stellt Open-Source-Lösungen bereit, gründet neue Firmen und investiert finanziell oder in Form von Sachleistungen in vielversprechende Ideen.

Der konkrete Auftraggeber ist ein frühes AI-Startup mit Sitz in New York City (NYC), das im Bereich Künstliche Intelligenz und Health & Wellness tätig ist. Das Unternehmen ist offen für Remote-Mitarbeitende; die Gründer haben Erfahrung beim Aufbau und Skalieren erfolgreicher Ventures.

Aufgaben

• Entwicklung, Ownership und Optimierung von Datenpipelines und Workflow-Orchestrierung (Umstieg auf Prefect geplant)
• Überwachung, Wartung und Fehlerbehebung von Pipelines sowie Umgang mit Format-Drift
• Extraktion, Anreicherung, Reprozessierung und Validierung großer strukturierter und unstrukturierter Datensätze (z. B. Web-Crawls, Scraper)
• Integration neuer Datenquellen und Ausrichtung extrahierter Daten an das Kerndatenmodell der Anwendung
• Teilnahme an Code-Reviews, Sicherstellung von Best Practices und technische Beratung bei Architekturentscheidungen
• Mitwirkung an Projektplanung, Überwachung von Geschwindigkeit, Umfang, Budget und Zeitplan; ggf. Abstimmung mit Kunden

Voraussetzungen

• Senior-Level Python-Expertise
• Erfahrung mit Daten-/Workflow-Orchestrierungstools (z. B. Prefect, Airflow, Dagster)
• Tiefes Verständnis von ETL und Daten-Transformationen für die Ingestion von LLM-relevanten Daten (OpenAI, Claude etc.)
• Vertrautheit mit Large Language Models und API-Integrationen (OpenAI, Google Gemini/Vertex) sowie Wrapper-Bibliotheken
• Praktische Erfahrung in Prompt Engineering und Arbeit mit strukturierten Outputs / Tool Calling
• Mindestens 5+ Jahre Erfahrung in Backend- oder nativer App-Entwicklung (z. B. Ruby on Rails, Elixir, Python Django, Node, React Native, Flutter, Android)
• Wünschenswert: GCP-Erfahrung (Cloud Run, Cloud Tasks), Suchtechnologien (Embeddings, Vektor-Datenbanken, BM25), PySpark sowie Erfahrung mit Vektor-Datenbanken, Kundenkontakt, Produkt- oder Engineering-Management und Startup-Umgebung

Benefits

• Wettbewerbsfähige Vergütung (USD-Bandbreite angegeben) mit Möglichkeit zur Annual-Salary-Variante
• Equity kann für passende Kandidat:innen angeboten werden
• Arbeiten im kreativen, kooperativen Umfeld eines worker-owned Collectives (garden3d) mit Fokus auf Design/Qualität
• Remote-Option möglich; bevorzugt NYC-basiert für Zusammenarbeit, aber nicht zwingend