Auf einen Blick
Als Staff Quality Engineer setzt du die technische Richtung für Testing und Evaluierung von KI-Systemen bei StackAdapt, entwirfst Evaluation Frameworks für nicht-deterministische LLM-Systeme und führst Quality Engineering für die Automation and Intelligence Pillar pod.
💰 ~$170.000–240.000/Jahr (geschätzt)
📊 Senior
🕒 Vollzeit
🌍 Remote
🗺️ Americas
- 7+ Jahre Software Quality und Test Automation
- Track Record beim Setzen technischer Richtung auf komplexen Systemen
- API & UI Test Automation Frameworks (Playwright, Cypress, Jest)
- KI/Agentic Systems Testing Erfahrung
Test Automation
Playwright
Regression Testing
Python
Gehalt geschätzt anhand Staff-Level Quality Engineer mit 7+ Jahren Erfahrung, KI/LLM Testing, Technical Leadership auf Complex Systems. Kein Gehalt in der Anzeige angegeben.
✅ Geeignet für
- Senior QE Profis mit 7+ Jahren Erfahrung
- Diejenigen mit KI/LLM Testing Erfahrung
- Technical Leadership und Architecture Decision-Making Erfahrung
🚫 Weniger geeignet
- Junior/Mid-Level QE Engineers (Staff-Level erforderlich)
- Diejenigen ohne KI/Agentic Systems Testing Erfahrung
- Kandidaten ohne API/UI Automation Framework Expertise
💡 Gut zu wissen
- Staff-Level Individual Contributor Rolle, nicht Manager
- Fokus auf Testing Non-Deterministic KI-Systeme
- Remote-first mit Kandidaten in Kanada/USA
- KI-Evals, Prompt Testing, Hallucination Detection gehören zum Kern der Rolle
Über das Unternehmen
StackAdapt ist führend in AI-gestütztem Marketing. Das Unternehmen bietet eine Plattform für Marketing Automation mit 465 Milliarden automatischen Optimierungen pro Sekunde. StackAdapt verbindet Brand und Performance Marketing, um messbare Ergebnisse über den gesamten Customer Journey zu erzielen. Unternehmen ist remote-first mit Kandidaten aus Kanada und USA.
Deine Aufgaben
- Technische Richtung für Testing und Evaluierung von intelligenten Systemen setzen
- Evaluation Frameworks für nicht-deterministische KI-Systeme (LLM-Output, Agent-Verhalten, Regression-Erkennung)
- Zuverlässige, skalierbare automatisierte Test-Suites und Tooling entwickeln (funktional, System, API, Integration, UI)
- Quality Metrics und Benchmarks etablieren (Accuracy, Latency, Cost, Hallucination Rates)
- Mit Engineering Managern, Product Managers, ML/Data Science zusammenarbeiten
- Mentor und Force Multiplier für QE Org sein
- Architectural Decision-Making und Code Review unterstützen
Deine Voraussetzungen
- 7+ Jahre professionelle, hands-on Software Quality und Test Automation Erfahrung
- Track Record beim Setzen technischer Richtung auf komplexen Systemen
- Tiefe, hands-on Erfahrung mit API & UI Test Automation Frameworks (Playwright, Cypress, Jest, Junit)
- Flüssigkeit in mindestens einer von TypeScript, JavaScript, Python oder Java (TypeScript bevorzugt)
- Erfahrung mit KI/Agentic Systems Testung (Evals, Prompt Testing, Output Validation)
