Аналитика Telegram-канала
Подписчики
110
Охват за 24 ч
41
ER за 24 ч
37,27%
Публикаций
12
Динамика подписчиков
7 дней
30 дней
6 месяцев
Больше
12 ноя15 ноя18 ноя
Показаны последние 7 дней
Больше истории →
Охваты публикаций
18.1028.1029.1009.11
7
Средний охват
10
Лучший результат
Показаны 4 публикации — последние в канале
Больше статистики →
Упоминания
0
Упоминаний
0
Из них репостов
0
Каналов
1
Упоминаний за 90 дней
1
Из них репостов
1
Каналов за 90 дней
Последние посты
3 из 12 2 из 12
Перемещаем десятки петабайт данных между частями собственного S3-хранилища, а никто и не подозревает.
Привет, это Никита Иващенко, старший разработчик команды Storage. У нас есть собственное объектное хранилище S3. Сейчас в нём находится примерно 130 петабайт данных. Чтобы их качественно и быстро хранить и обрабатывать, хранилище разделено на несколько десятков независимых кластеров.
❓Проблема: данные распределяются между кластерами неравномерно. А чем больше объектов хранится в кластере, тем выше нагрузка на сервисы, которые взаимодействуют с этими объектами.
❗️Идея: научиться перемещать данные из перегруженных кластеров в более свободные без остановки хранилища.
⚙️ Решение: live-миграция через сервис s3-migrator. Он составляет список всех объектов в бакете и сохраняет его в PostgreSQL (это важно на случай остановки миграции). Объекты из списка последовательно перемещаются в новый кластер. Система проверяет, что всё перенесено корректно. В случае ошибки проблемные объекты переносятся повторно. Дополнительно проверяются файлы, загруженные по частям.
❓❓Новая проблема: когда появились бакеты с сотнями миллионов объектов, скорость миграции заметно снизилась, а БД требовала много ресурсов.
И мы всё переделали. Все подробности и архитектуру решения найдёте ➡️ в моей хабрастатье. Полезного чтения!
#ozontech_habr #storage
ещё
10
0
1 9 ноя, 17:03
Отдельно отмечу, что если вам понравилась статья и вы хотите продолжения, то не стесняйтесь ставить лайки и оставлять комментарии на Хабре. От рекомендательных алгоритмов никуда не деться, да и мне будет приятно 🙃
Как видите, этот месяц получился довольно техническим)
ещё
6
0
1 29 окт, 15:47
Наконец-то завершил большую работу и хочу поделиться с вами своей новой статьёй!
Как мы незаметно перемещаем десятки петабайт данных внутри S3
Статья дополняет мой одноимённый доклад на infra.conf (посмотреть можно тут). Как обычно, в тексте я подробнее разобрал технические детали, на которые не хватило времени во время выступления
Приятного прочтения!
ещё
8
0
1 28 окт, 16:03
Продолжить анализ этого канала
- История роста подписчиков
- Просмотры и охваты публикаций
- Кто упоминает канал и кого упоминает он
- Похожие каналы и подбор для рекламы
Открыть аналитику
Демо до 14 дней