Обязанности:

Развёртывание и обслуживание LLM-моделей с использованием vLLM и Triton Inference Server
Администрирование GPU-кластера (NVIDIA H200, L4, L40s): распределение ресурсов, мониторинг VRAM, настройка CUDA MPS
Построение и поддержка CI/CD пайплайнов для AI-сервисов на базе GitLab CI
Автоматизация деплоя моделей: версионирование, rollback-процедуры, проведение A/B тестов
Контейнеризация сервисов (Docker, Kubernetes)
Настройка мониторинга GPU-метрик через Prometheus и Grafana
Мониторинг качества AI-агентов: latency (p50/p95/p99), throughput, деградация метрик
Работа с реляционными и векторными базами данных
Настройка миграций БД через Alembic (желательно)
Настройка алертов при деградации сервисов (желательно).

Требования:

Уверенные знания ML-инфраструктуры: vLLM, Triton Inference Server.
Опыт работы с GPU-кластерами NVIDIA, понимание CUDA, MPS, VRAM-менеджмента.
Практический опыт с Docker и Kubernetes в production.
Опыт построения CI/CD пайплайнов (GitLab CI или аналоги).
Знание систем мониторинга: Prometheus, Grafana.
Опыт работы с реляционными БД (PostgreSQL и др.) и векторными БД (Qdrant, Weaviate, Pinecone или аналоги)
Понимание метрик качества AI-сервисов (latency, throughput, SLA).
Желательные:
Опыт с Alembic для миграций БД
Настройка алертинга (PagerDuty, Alertmanager и др.)
Опыт с MLflow, DVC или аналогичными инструментами версионирования моделей
Знание языков:
Русский язык — обязателен (рабочий язык команды)
Английский язык — технический уровень (чтение документации, переписка) — обязателен
Казахский язык — преимущество.
Опыт работы не менее 1-2 года.
Опыт работы с GPU-серверами и LLM-моделями в production — обязателен.
Опыт участия в полном цикле деплоя ML-моделей (от разработки до мониторинга).

Условия:

График работы: с 09:00-18:30 ч.
Мед.страхование
Развозка

Необходимые степени образования

• Бакалавр