Auf einen Blick
Entwickle Test-Szenarien und QA-Prozesse für KI-Benchmark-Tasks. Für QA/Test Engineers mit 1+ Jahren Erfahrung und Python/Git-Fähigkeiten.
💰 $60–90/h
📊 Mid-Level
🕒 Vollzeit
🌍 Remote
🗺️ Americas
- MSc/PhD oder äquivalent
- 1+ Jahre QA/Test Engineering
- Python & Git
- Detailorientierung
Python
Git
Debugging
AI Evaluation
Angegeben: $60–90/h · Marktschätzung: ~$124.800–187.200/Jahr.
✅ Geeignet für
- QA Engineers mit Python
- Research-Oriented Techniker
- AI-System-Enthusiasten
🚫 Weniger geeignet
- Anfänger QA ohne 1 Jahr Erfahrung
- Vollzeit-Angestellte ohne Flex
- Nicht-Englischsprachige
💡 Gut zu wissen
- STEM MSc/PhD normalerweise erforderlich
- AI-Evaluierungs-Erfahrung ist Plus
- US-only, keine Visa-Sponsoring
Über das Unternehmen
Führende AI-Forschungsorganisation entwickelt nächste Generation von Agentischen Evaluierungs-Benchmarks für fortschrittliche KI-Modelle.
Deine Aufgaben
- Umfassende Test-Szenarien für Benchmark-Tasks entwickeln (Edge Cases, Fehlerkonditionen)
- Task-Qualität überprüfen (Anforderungen, Erwartungen, Lösungen)
- Debugging und Fehlerbehebung in Task-Umgebungen durchführen
- Praktische QA-Prozesse und Review-Frameworks erstellen
- Evaluierungs-Lücken und Bewertungs-Loopholes identifizieren
- Enge Zusammenarbeit mit Forschern zur Kommunikation und Validierung von Fixes
Deine Voraussetzungen
- MSc oder PhD in STEM-Disziplin oder gleichwertige praktische Erfahrung
- 1+ Jahre Erfahrung in QA, Test Engineering oder Research Engineering
- Fähigkeit zur Entwicklung effektiver Test Cases
- Python und Git Arbeitsprofizenz
- Starke Debug- und Analysefähigkeiten
- Außergewöhnliche Aufmerksamkeit zum Detail
- AI-Evaluierungs-Erfahrung sehr wünschenswert
Benefits
- Honorar: $60-$90 pro Stunde
- 35 Stunden pro Woche durchschnittlich
- Vollständig remote in den USA
