Обязанности:

Развёртывание и обслуживание LLM-моделей с использованием vLLM и Triton Inference Server;
Администрирование GPU-кластера (NVIDIA H200, L4, L40s): распределение ресурсов, мониторинг VRAM, настройка CUDA MPS;
Построение и поддержка CI/CD пайплайнов для AI-сервисов на базе GitLab CI;
Автоматизация деплоя моделей: версионирование, rollback-процедуры, проведение A/B тестов;
Контейнеризация сервисов (Docker, Kubernetes);
Настройка мониторинга GPU-метрик через Prometheus и Grafana;
Мониторинг качества AI-агентов: latency (p50/p95/p99), throughput, деградация метрик;
Работа с реляционными и векторными базами данных;
Настройка миграций БД через Alembic (желательно).
Настройка алертов при деградации сервисов (желательно).

Требования:

Уверенные знания ML-инфраструктуры: vLLM, Triton Inference Server;
Опыт работы с GPU-кластерами NVIDIA, понимание CUDA, MPS, VRAM-менеджмента;
Практический опыт с Docker и Kubernetes в production;
Опыт построения CI/CD пайплайнов (GitLab CI или аналоги);
Знание систем мониторинга: Prometheus, Grafana;
Опыт работы с реляционными БД (PostgreSQL и др.) и векторными БД (Qdrant, Weaviate, Pinecone или аналоги);
Понимание метрик качества AI-сервисов (latency, throughput, SLA)
Желательные:
Опыт с Alembic для миграций БД
Настройка алертинга (PagerDuty, Alertmanager и др.)
Опыт с MLflow, DVC или аналогичными инструментами версионирования моделе
Знание языков:
Казахский язык, Русский язык — обязателен (рабочий язык команды)
Английский язык — технический уровень (чтение документации, переписка) — обязателен.
Опыт работы не менее 1-2 года.
Опыт работы с GPU-серверами и LLM-моделями в production — обязателен.
Опыт участия в полном цикле деплоя ML-моделей (от разработки до мониторинга).

Условия:

- График работы: с 09:00 - 18:30ч.
- Мед.страхование
- Развозка

Необходимые степени образования

• Бакалавр