Міндеттері:

vLLM және Triton Inference Server көмегімен LLM-модельдерін орналастыру және қызмет көрсету
NVIDIA H200, L4, L40s GPU-кластерін әкімшілеу: ресурстарды бөлу, VRAM мониторингі, CUDA MPS баптау
GitLab CI негізіндегі AI-сервистер үшін CI/CD пайплайндарын құру және қолдау
Модельдерді орналастыруды автоматтандыру: версионизация, rollback-процедуралар, A/B тесттерін өткізу
Сервистерді контейнерлеу (Docker, Kubernetes)
Prometheus және Grafana арқылы GPU-метрикаларды мониторингтеу баптау
AI-агенттердің сапасын мониторингтеу: latency (p50/p95/p99), throughput, метрикалардың деградациясы
Реляциялық және векторлық деректер базаларымен жұмыс істеу
Alembic арқылы БД миграцияларын баптау (қалаулы)
Сервистер деградациясы кезінде алерттерді баптау (қалаулы)

Талаптар:

ML-инфрақұрылымы бойынша сенімді білім: vLLM, Triton Inference Server;
NVIDIA GPU-кластерлерімен жұмыс тәжірибесі, CUDA, MPS, VRAM-менеджментін түсіну;
Production ортада Docker және Kubernetes-пен практикалық тәжірибе;
CI/CD пайплайндарын құру тәжірибесі (GitLab CI немесе баламалар);
Мониторинг жүйелерін білу: Prometheus, Grafana;
Реляциялық БД-мен жұмыс тәжірибесі (PostgreSQL және т.б.) және векторлық БД-мен (Qdrant, Weaviate, Pinecone немесе баламалар);
AI-сервистер сапасының метрикаларын түсіну (latency, throughput, SLA)
Қалаулы:
БД миграциялары үшін Alembic-пен тәжірибе
Алертинг баптау (PagerDuty, Alertmanager және т.б.)
MLflow, DVC немесе модельдерді версионизациялауға арналған ұқсас құралдармен тәжірибе
Тілдерді білу:
Қазақ тілі, Орыс тілі — міндетті (командасының жұмыс тілі)
Ағылшын тілі — техникалық деңгей (құжаттаманы оқу, хат алмасу) — міндетті.
Жұмыс тәжірибесі кемінде 1-2 жыл.
GPU-серверлермен және LLM-модельдермен production ортада жұмыс істеу — міндетті.
ML-модельдерді деплойлаудың толық циклдарына қатысу тәжірибесі (әзірлеуден бастап мониторингке дейін).

Шарттар:

- Жұмыс кестесі: 09:00 - 18:30 сағ.
- Медициналық сақтандыру
- Жеткізу (тасымал)

Қажетті білім дәрежесі

• Бакалавр