Auf einen Blick
Baue und verwalte skalierbare Data Pipelines für Warehouse, LLM-Anwendungen und AI-basierte BI. Architektiere Vector Stores und RAG-Workflows für Semantic Search.
💰 $110.000–180.000/Jahr
📊 Senior
🕒 Vollzeit
🗺️ APAC
- 6-7+ Jahre Senior Data Engineering
- 1-2 Jahre AI/ML Workflow Erfahrung
- Spark, Hadoop, Kafka praktische Erfahrung
Apache Spark
Hadoop
Kafka
SQL
Python
Snowflake
RAG Architecture
✅ Geeignet für
- Senior Data Engineer mit Big Data Platform Erfahrung
- Kandidaten mit RAG und Vector Database Knowhow
- ML Infrastruktur Engineer mit LLM-Fokus
🚫 Weniger geeignet
- Anfänger ohne 6+ Jahre Data Engineering
- Kandidaten ohne Spark/Hadoop Erfahrung
💡 Gut zu wissen
- Nur Kandidaten aus Indien werden akzeptiert
- Interview ist auf Englisch
- Fokus auf LLM-Operations und AI-Integration
- Big Data Scale (Spark, Kafka)
Über das Unternehmen
IDT ist ein Kommunikations- und Finanzdienstleistungsunternehmen mit über 1700 Mitarbeitern in 20+ Ländern. Das Unternehmen ist an der NYSE notiert und erzielt Umsätze über 1,5 Milliarden USD. IDT ist ein führender Anbieter von Prepaid- und Payment Services.
Deine Aufgaben
- Gestalte, entwickle und verwalte skalierbare End-to-End Data Pipelines für Ingestion, Transformation und Delivery
- Optimiere ETL/ELT Pipelines und Datenstrukturen in Cloud Data Warehouse (Snowflake/Redshift)
- Baue Workflows für Extraktion, Speicherung und Abfrage von semantischen Repräsentationen unstrukturierter Daten
- Architektiere Lightweight Analytics und Dashboarding-Lösungen mit Natural Language Query Experience
- Beaufsichtige Vektor-Data Stores und entwickle effiziente Indexierung für RAG-Workflows
- Definiere und exekutiere Prozesse für Prompt Engineering, Orchestration Flows und Model Fine-Tuning
- Partnere mit Data Stakeholdern für LLM-Initiativen und übersetze zu skalierbaren Lösungen
Deine Voraussetzungen
- Senior Data Engineer mit 6-7+ Jahren Erfahrung in skalierbarer Data Infrastructure
- 1-2 Jahre praktische Erfahrung mit AI/ML Workflows
- Ausgezeichnete Englisch-Kommunikationsfähigkeiten
- Hands-On Erfahrung mit Apache Spark, Hadoop und Kafka
- Komplexe Data Pipelines Design und Implementierung aus RDBMS, JSON, API und Flat File Sources
- Fortgeschrittene SQL und PLSQL Programmierung
- Python für Data Engineering Tasks (Transformation, Advanced Data Manipulation)
- Tiefes Verständnis von Vector Databases und RAG Architectures
- Erfahrung mit AWS oder Azure Machine Learning für Managed LLM Deployments
