Описание услуги Объектное хранилище S3

Информация об услуге

Общая информация

Услуга Объектное хранилище S3 — это решение для долговременного и безопасного хранения больших объемов цифровых данных, построенное на базе облачной инфраструктуры OnCloud.

Объектное хранилище S3 имеет плоскую структуру и работает по протоколу S3 или Simple Storage Service, который позволяет разделять права доступа к хранимым объектам и устанавливать параметры хранения информации, содержащейся в них. Все объекты в таком хранилище равнозначны и состоят из уникального идентификатора, метаданных и хранимых данных:

• Уникальный идентификатор — ключ, с помощью которого можно однозначно идентифицировать хранимый объект и обращаться к нему в хранилище

• Метаданные — описание объекта, содержащее данные, которые могут быть использованы для нахождения объекта

• Данные — файлы с информацией разного формата (цифровые документы, фото- и видеоматериалы, архивы, образы виртуальных систем), хранящиеся внутри объекта

Любые объекты в хранилище S3 можно объединять в контейнеры - бакеты (buckets), которым присваивается уникальный идентификатор, входящий в URL каждого объекта внутри бакета.

Благодаря своей структуре Объектное хранилище S3 отлично подходит для хранения:

• медиа-контента и хостинга статических веб-сайтов - хранилище обеспечивает быстрый, безопасный и удобный доступ к информации из любого места, в любое время и с любого устройства
• архивов и резервных копий - размер хранилища легко и быстро увеличивается, в том числе автоматически
• больших объемов данных для аналитики и машинного обучения - протокол S3 поддерживает использование метаданных

Внимание!

Объектное хранилище S3 неэффективно для работы, требующей частого обновления данных, поскольку при изменении части данных требуется перезапись всего объекта, на которую тратится дополнительное время. Для организации базы данных или совместной работы с файлами лучше выбрать другой тип хранилища.

Инфраструктура

Объектное хранилище S3 развернуто на специально выделенных для него серверах облачной инфраструктуры OnCloud, работающих в распределенном(distributed) режиме для повышения отказоустойчивости. Объем S3 хранилища ограничивается общей ёмкостью подключенного дискового массива.

По умолчанию, для хранения данных одного проекта выделяется до 50 Тб. При необходимости, этот объем можно увеличивать.

Внимание!

Резервное копирование объектов не входит в состав услуги Объектное хранилище S3 и обеспечивается пользователями хранилища самостоятельно при необходимости.

Доступ и управление

Для работы с объектным хранилищем S3 OnCloud используются API и S3 совместимые программные решения, например MinIO CLI. Доступ организован через отказоустойчивый балансировщик и TLS-терминацию.

Особенности взаимодействия с объектным хранилищем S3 OnCloud:

• поддерживаются все команды для действий над объектами в соответствии со спецификацией S3 API: Object APIs, Object Locking, Multipart Uploads, Bucket Lifecycle
• отсутствуют ограничения на частоту запросов (rate limits)
• максимальное количество одновременных TCP-соединений ограничено конфигурацией балансировщика
• объем результатов при LIST-запросах составляет до 1000 объектов за один вызов
• поддерживается версионирование объектов хранилища
• поддерживаются Lifecycle-политики
• репликация и Event-уведомления не используются

Описание подключения к объектному хранилищу S3 OnCloud можно посмотреть в разделе OnCloud PaaS - Объектное хранилище S3 - Подключение к бакету

Мониторинг

Мониторинг работы объектного хранилища S3 выполняется с использованием системы мониторинга, развернутой в облачной инфраструктуре OnCloud. Возможность изменения метрик мониторинга пользователями не предусмотрена.

Безопасность

Объектное хранилище S3 на базе облачной инфраструктуры OnCloud обеспечивает надежную и безопасную среду для хранения данных. Все бакеты и объекты S3 хранилища OnCloud доступны только авторизованным пользователям. Анонимный доступ и использование публичных бакетов не поддерживается. Подключение пользователей выполняется по протоколу HTTPS. Для авторизации пользователей используются идентификаторы S3 access и secret keys. При необходимости, доступ к бакету может быть ограничен по IP-адресу с использованием whitelist списка.

Ограничения

Ограничения для бакетов:

• максимальное количество бакетов - 100 на один проект
• максимальная длина имени бакета - 63 символа

Ограничения для объектов:

• максимальный размер объекта - 5 Тб
• максимальный размер имени объекта - 0 байт (пустые объекты)
• минимальный размер данных для загрузки за один запрос - 0 байт
• Multipart upload — максимальный размер части - 5 ГБ
• Multipart upload — минимальный размер части - 5 МБ
• Максимальное количество частей в multipart - 10 000