Телеграм канал «DevopsTrain»

Когда тушить пожары в облаке всё ещё приходится руками, а не промптами

Навеяно, конечно, недавними событиями с Яндексом, но актуально было всегда. Пожары случались с крупныим облаками множество раз. Загуглите AWS, OVH, еще раз AWS и т.д.

Но в случае с Яндекс.Облаком все интереснее, тут классический подход "распределяй нагрузку по зонам доступности и будет тебе высокая доступность" не сработала. Даже ресурсы, в незатронутых зонах работали со сбоями, что говорит о плохой изоляции сервисов. Впрочем, ЯО поправили большую часть этих проблем, но о высокой доступности говорить не приходится. Причин этому много, от архитектурных решений, до неготовности принять резко возросшую нагрузку на выжившие зоны.

Отсюда следуют выводы:

Мультиклауд — наше всё. Распределяйте нагрузку по возможности по разным облачным провайдерам либо используйте гибридные решения в связке с голым железом (Bare Metal).

Правило бэкапов. Делать бэкапы в рамках одного и того же облака — это ИТ-самоубийство. Копии должны лежать у другого провайдера, а еще лучше — в ДЦ другой страны.

Теория без практики мертва. Проверяйте восстановление из бэкапов в боевом режиме хотя бы раз в 2–3 месяца.

Recovery Plan — не формальность. Заранее готовьте пошаговый план действий на случай, если абсолютно всё пойдет по бороде.

ИИ нас не заменит. Те, кто до сих пор паникует, что ChatGPT отберет работу у девопсов, могут выдохнуть. На данном этапе ИИ — это крутой инструмент, который ускорит написание рутинных скриптов, но лежать на диване с мохито он вам не даст. ИИ не пойдет руками чинить связность сетей в упавшем облаке.

Да, нас тоже затронул данный инцидент, хоть бОльшая часть ресурсов у нас была в выживших зонах. Но мы уже несколько дней все никак не разгребем последствия.

Девопсы ой как нужны и сейчас, возможно, даже еще больше, т.к. бизнесу нужно стабильно работающее приложение в условиях очень нестабильной обстановки вокруг.

Ну и в бум офферов ради оффера💵, я бы советовал не забрасывать и техничку, потому что ситуации бывают разные. Я всегда придерживаюсь срединного подхода: на собеседовании важны и софт-скиллы с умением себя продать, и глубокая техничка. Одно без другого работает не отказоустойчиво. 😨 Ко мне часто приходят переучиваться после курсов или других менторов, которые не учат технички, а натаскивают на правильные ответы. Вообщем делай как должно и все будет хорошо.

Вообщем ни на что не намекаю, но программу прилагаю🥱