ANT-S3
Администрирование, проектирование и обслуживание S3-хранилища
Длительность обучения: 3 дня
Записаться на курс
Описание
курса
Материал данного курса посвящён практическому освоению объектного хранилища, совместимого с протоколом Amazon S3. Программа охватывает полный жизненный цикл работы с S3-хранилищем: от понимания архитектуры объектного хранения и проектирования структуры бакетов до развёртывания, эксплуатации, обеспечения безопасности, мониторинга и обслуживания в продуктивной среде. Теоретическая часть курса построена универсально — она опирается на спецификацию S3 API и общие принципы объектного хранения, применимые к любой S3-совместимой системе (AWS S3, MinIO, Ceph, облачные провайдеры и др.). Практическая часть выполняется на Ceph RADOS Gateway (RGW) как на одной из наиболее распространённых самоуправляемых реализаций S3-совместимого хранилища, что позволяет одновременно освоить и абстрактную модель S3, и реальные инструменты эксплуатации on-premise решения. Лабораторный стенд: кластер Ceph с одним или несколькими узлами RADOS Gateway, предоставляющий S3-совместимый эндпоинт. Слушатели работают с хранилищем через S3 API (CLI-клиенты, SDK) и администрируют его средствами Ceph (управление пользователями, пулами, квотами, мониторинг состояния кластера).
Аудитория курса
Курс ориентирован на специалистов, отвечающих за хранение данных и инфраструктуру: Системные администраторы и инженеры инфраструктуры, внедряющие или обслуживающие объектное хранилище; DevOps- и SRE-инженеры, интегрирующие S3-хранилище в приложения и пайплайны; Администраторы систем хранения данных (СХД), переходящие от блочного/файлового хранения к объектному; Архитекторы решений, проектирующие хранилища данных для приложений и резервного копирования.
Предварительные требования
Необходимы уверенная работа в командной строке Linux, базовое понимание сетей (HTTP/HTTPS, DNS, TLS, IP), общее представление о принципах хранения данных. Знание S3 и Ceph не требуется.
Как устроено
обучение
Онлайн-курс
Онлайн-курс предполагает групповые занятия с инструктором через систему видеоконференцсвязи, кроме того, домашние задания и экзамен. Слушателям предоставляются учебные пособия и дополнительные материалы
Для корпоративных клиентов
Обучение для корпоративных клиенов включает в себя онлайн-курсы и курсы самообучения, а также дополнительные сервисы,необходимые корпоративным клиентам: организация планов обучения для подразделений клиента, проведение оценки эффективности обучения и т.д.
преподаватель
курса
программа
курса
• Концепция объектного хранилища: объекты, метаданные, плоское пространство имён.
• Бакеты, ключи объектов, «псевдопапки» и принципы именования.
• История и роль протокола S3 как индустриального стандарта; S3-совместимые реализации (универсальный обзор).
• Архитектура S3 API: RESTful-модель, эндпоинты, path-style и virtual-hosted-style адресация, конфигурация региона.
• Аутентификация запросов: AWS Signature V4, access key / secret key.
• Базовые операции: PUT/GET/DELETE/LIST, HEAD-запросы, ETag и контрольные суммы объектов.
• Multipart upload: назначение, этапы, обработка прерванных загрузок; presigned URLs для временного доступа.
• Коды ответов и обработка ошибок S3 API: HTTP-статусы, структура ошибок, типовые ситуации.
• Обзор клиентских инструментов: aws-cli, s3cmd, mc (MinIO Client), SDK; обзор реализации на базе Ceph RGW.
• Создание бакетов, загрузка и выгрузка объектов, работа со структурой ключей и «псевдопапками».
• Просмотр метаданных и ETag объектов, проверка контрольных сумм.
• Выполнение multipart-загрузки большого файла, просмотр и отмена незавершённых загрузок.
• Генерация presigned URL для временного доступа на чтение и запись.
• Анализ HTTP-ответов и кодов ошибок (например, при доступе к несуществующему объекту/бакету).
• Bucket policies и ACL: синтаксис, принципы, типичные сценарии (универсально для S3 API).
• Принцип наименьших привилегий, изоляция арендаторов (multi-tenancy).
• Реализация управления пользователями в Ceph RGW: пользователи, subusers, tenants, инструмент radosgw-admin.
• Квоты: на уровне пользователя и бакета, по объёму и количеству объектов.
• Версионирование объектов: назначение, поведение, удаление и восстановление версий, MFA Delete.
• Object Lock и WORM-режим: governance и compliance, retention и legal hold.
• Объектные теги (Object Tagging) и их использование в политиках и lifecycle.
• Управление жизненным циклом (Lifecycle): правила истечения срока, переходы между классами хранения, удаление неактуальных версий и незавершённых multipart-загрузок.
• Шифрование данных: in-transit (TLS, проверка сертификатов); at-rest — server-side encryption (SSE-S3, SSE-KMS, SSE-C), модели и сценарии применения.
• CORS: назначение, синтаксис правил, типовые конфигурации для веб-приложений.
• Event Notifications: уведомления о событиях бакета, интеграция с очередями/обработчиками.
• Статический веб-хостинг из бакета: website endpoint, индексные и страницы ошибок.
• Принципы проектирования бакетов: схемы именования ключей, распределение нагрузки, лимиты и квоты.
• Настройка bucket policy для разграничения прав между несколькими пользователями; проверка эффекта политик.
• Настройка ACL на бакете и отдельных объектах, сравнение с bucket policy.
• Включение версионирования, удаление и восстановление объекта по версии.
• Конфигурирование lifecycle-правил: автоматическое удаление по сроку, очистка незавершённых multipart-загрузок.
• Назначение объектных тегов и lifecycle-правила, основанного на тегах.
• Настройка квот на пользователя и бакет, проверка срабатывания.
• Проверка доступа по HTTPS/TLS, настройка CORS и проверка из браузера.
• Настройка нотификации о загрузке объекта (event notification).
• Включение Object Lock на тестовом бакете и проверка невозможности удаления.
• Архитектура хранилища «под капотом»: как S3-слой отображается на бэкенд (на примере связки RGW ↔ RADOS, пулы данных и индексов, placement-группы и placement-таргеты).
• Bucket index: назначение, статическое и динамическое шардирование (dynamic resharding), влияние на производительность.
• Garbage collection в RGW: отложенное удаление объектов, управление очередью GC.
• Масштабирование объектного хранилища: добавление узлов шлюзов, балансировка нагрузки (HAProxy/nginx/LVS), высокая доступность эндпоинта.
• Multisite-сценарии: realm, zonegroup, zone; асинхронная репликация между площадками, активные/пассивные конфигурации.
• Мониторинг и метрики: состояние кластера Ceph, использование ёмкости, латентность и пропускная способность запросов; Prometheus-экспортеры, Grafana-дашборды.
• Логирование доступа и аудит операций: access log RGW, ops log, разбор записей.
• Резервное копирование и аварийное восстановление: подходы к бэкапу объектного хранилища, использование multisite как DR-механизма.
• Производительность и тюнинг: размеры объектов, параметры multipart, шардирование индексов, настройки RGW и пулов.
• Типовые неполадки и их диагностика: недоступность эндпоинта, рассинхронизация multisite, переполнение пулов, медленные операции.
• Настройка балансировщика перед несколькими RGW-инстансами, проверка отказоустойчивости эндпоинта (отключение одного RGW под нагрузкой).
• Просмотр и анализ access/ops-логов RGW.
• Подключение Prometheus-экспортера и просмотр базовых метрик в Grafana.
• Нагрузочное тестирование хранилища (s3bench / warp / cosbench): сценарии PUT/GET, разные размеры объектов.
• Просмотр состояния bucket index, ручной запуск reshard для тестового бакета.
• Просмотр и обработка очереди garbage collection.
• Диагностика и устранение смоделированной неполадки (например, недоступный RGW, проблема с TLS, переполненная квота).
• Проверка целостности данных и выполнение операций обслуживания.
Варианты
покупки курса
индивидуальное
Стоимость курса — 100 695,00 ₽
Групповые онлайн-занятия
Бессрочный доступ ко всем материалам
Живые вебинары с преподавателем
Домашние задания
Экзаменация с выдачей сертификата
Для уточнения даты проведения курса, пожалуйста, заполните форму.
Оставить заявку
корпоративное
Стоимость курса от 100 695,00 ₽
Для получения данных о конечной стоимости и уточнения даты проведения курса, пожалуйста, заполните форму.
Оставить заявку
