Производство и генеративные медиа

AI06

LLMOps & Agentic Infrastructure

Длительность обучения: 4 дня

Записаться на курс

Описание
курса

Материал данного курса посвящен производственной инфраструктуре для LLM и агентов: serving‑стеку, экономике GPU, оркестрации и масштабированию, наблюдаемости (AgentOps, tracing, evals), безопасности и шлюзовому уровню (AI gateway).

Аудитория курса

Платформенные инженеры, SRE‑ и DevOps‑специалисты, команды ML‑платформ, архитекторы, отвечающие за стоимость, латентность и безопасность LLM‑сервисов.

Предварительные требования

Как устроено
обучение

Онлайн-курс

Онлайн-курс предполагает групповые занятия с инструктором через систему видеоконференцсвязи, кроме того, домашние задания и экзамен. Слушателям предоставляются учебные пособия и дополнительные материалы

Для корпоративных клиентов

Обучение для корпоративных клиенов включает в себя онлайн-курсы и курсы самообучения, а также дополнительные сервисы,необходимые корпоративным клиентам: организация планов обучения для подразделений клиента, проведение оценки эффективности обучения и т.д.

программа
курса

• Serving‑платформы (vLLM, SGLang) и кэширование префиксов через RadixAttention.
• Speculative decoding и связки draft‑ и oracle‑моделей.
• Multi‑LoRA serving и обслуживание десятков адаптеров на одном ускорителе.
• Маршрутизация между провайдерами и локальными моделями по стоимости и латентности.
• Контейнерные стеки и оптимизированные микросервисные сборки для foundation‑моделей.
• Автоскейлинг по LLM‑метрикам (KV‑cache utilization, длина очереди) вместо классических CPU/RAM.
• Serverless GPU как способ обработки пиковых нагрузок.
• Версионирование данных и автоматическая инвалидация векторов в RAG и GraphRAG.
• Трассировка цепочек рассуждений и отладка мультиагентных графов.
• Evals‑as‑a‑Service и встраивание автоматических тестов в CI/CD с блокировкой деплоя при деградации метрик.
• Семантический мониторинг и обнаружение concept drift.
• Аналитика логов рассуждений как сырьё для последующего дообучения моделей.
• Централизованное управление ключами, квотами и rate limiting на уровне шлюза. Guardrails (Llama Guard, NeMo Guardrails) и фильтрация персональных данных в реальном времени.
• Sandboxing инструментов и runtime‑контроль выхода агентов за пределы разрешённых API.
• Версионирование промптов и весов, стратегии быстрого отката при обнаружении аномалий.

Варианты
покупки курса

индивидуальное

Стоимость курса — 115 526,00 ₽

Групповые онлайн-занятия

Бессрочный доступ ко всем материалам

Живые вебинары с преподавателем

Домашние задания

Экзаменация с выдачей сертификата

Для уточнения даты проведения курса, пожалуйста, заполните форму.

Оставить заявку

*Нажимая на кнопку, вы соглашаетесь с публичной офертой и политикой конфиденциальности

корпоративное

Стоимость курса от 115 526,00 ₽

Для получения данных о конечной стоимости и уточнения даты проведения курса, пожалуйста, заполните форму.

Оставить заявку

*Нажимая на кнопку, вы соглашаетесь с публичной офертой и политикой конфиденциальности