Сочи, pt.2 По традиции, когда в Москве становится уже не-май-месяц, я еду на недельку в май-месяц под названием Сочи (уже писал об этом тут). Как в том анекдоте: "Раньше я любил лето. Потом я узнал, что если у тебя есть деньги, ты можешь получить лето в любое время года. Теперь я люблю деньги". Взял семью, прокатную тачку, пару дней off и ведро спокойствия на случай переноса рейсов и сирен по ночам. И даже не знаю, что такого нового рассказать. В Сочи, по-прежнему, классно. Лучше гор, по-прежнему, ничего не придумали. Море, по-прежнему, классное (в созерцательном плане, не купательном). Обнаружили новое место - Змейковские водопады (правда, обнаружили его мои родные без меня, в те дни, когда я был не-off, потому и фотки не все мои, а родных). А в целом - даже если не получается взять полноценный отпуск, а состояние требует некоторой перезагрузки - съездите куда-нибудь на несколько дней, возьмите пару дней отгула, поработайте удаленно, смените декорации. А то так и сгореть недолго.

Вскоре стало понятно, что бежим вдолгую, и нужно грамотно распоряжаться силами. Усталость копится. Человеческий организм просто не предназначен для долгого существования в условиях нехватки сна и избытка адреналина и стресса. Формат "если ты проснулся от будильника, а не от звонка, утро автоматически считается добрым" выматывает. Появилась потребность переформатировать работу в более адекватный ритм - с хоть каким-то понятием рабочих/не-рабочих часов, некоторых выходных, четких задач и целей (не по плану эвакуации). В первые дни уговаривали друг друга поспать пару часов между пересменками, а сейчас уже вечером разгоняем людей домой. Сам факт появления этого поста - тоже признак постепенного возврата к "нормальности". Не выйдет обойти стороной и тему ИИ. Пожалуй, это первый масштабный инцидент из эпохи развитого ИИ, и можно порассуждать о роли нейронок в скорости восстановления. Не стану утверждать, что без них мы бы восстанавливались дольше, но ИИ однозначно нам сильно помогает сейчас. Тут речь и о кейсах ограниченного обзервабилити, компенсирующегося возможностями быстро собрать любую диагностику наживую. И об автоматизации сложных процедур (попробуйте руками за ночь развернуть 400 сервисов с базами и не рехнуться). И про агентскую разработку на стероидах и адреналине, когда ребята за 2 дня пишут то, что иначе заняло бы квартал. Немного про то, как работают команды в это непростое время. Вообще хотелось рассказать какие-то красивые истории, иллюстрирующие героизм наших ребят. Но, честно говоря, романтизма тут особого нет (героизм - есть). В первые дни работали и по ночам, и в выходные, делали нереальное количество задач. Люди прерывали отпуска и подключались помогать. Сейчас возвращаемся к более адекватному ритму. Большинство перестали делить зоны ответственности на "мое/не-мое", просто есть задачи, есть руки, и все руки делают все задачи, потому что так надо. Какого-то лиричного сторителлинга тут пока не выходит. Возможно, мы его осознаем чуть позже, а пока - просто работаем со всех рук. Меня несколько людей снаружи компании за эти пару недель спросили - "Что будет с Яндексом?". В детали я, само собой, не углублялся, но уверенно и честно отвечал "С Яндексом все будет хорошо!". Все восстановим. Сдюжим. Потому что с такими командами иначе и быть не может. Потому что лучшие инженеры страны сейчас имеют одну задачу - вернуть пользователям наши сервисы еще более устойчивыми, чем было раньше. Мы справимся и выйдем из этой ситуации закаленными и сильными.

"- Чините? - Чиним" (цитата из фильма) Кажется, пришло время объяснить, чем же мы тут последние пару недель так усиленно занимаемся. Не раскрывая всех деталей, попробую дать верхнеуровневое представление, почему "это вам не хухры-мухры". Для начала обрисую, из чего состоит Лавка технически. У нас микросервисная архитектура. Ну как микросервисная, некоторые сервисы больше похожи на монолиты, но их так дофига, что на общем фоне даже они - микро. Всего сервисов порядка 400 штук на десятках тысяч процессорных ядер. Большинство сервисов крутится в облачной распрелеленной инфре. Есть и ряд специфичных систем, которым нужно особое железо, либо сетевая специфика. Почти у каждого сервиса есть база данных, у ряда сервисов - сразу несколько баз разных типов. Базы - тоже облачные, managed, на нескольких "ногах". Есть огромный map-reduce кластер для dwh, аналитики, работы с большими данными, ёмких вычислений и алгоритмики. И еще куча разношерстной марохайки, про которую в обычной жизни вспоминаешь, только когда сломается. И до тех пор, пока у тебя все это стройно и связно работает, крепко стоит на ногах, подкреплено достаточным количеством вычислительных ресурсов - все хорошо. Разумеется, мы много лет проводим учения по отключению дата-центров и заготавливаем солому. Все эти упражнения однозначно сильно помогли. Разумеется, все системы и данные многократно зарезервированы и забекаплены. Но х20 не зарезервируешься - это и экономически нецелесообразно, и эксплуатационно адово. Вообще, все, что я писал в постах о надежности - не пустой звук. Нам немало помогли и нагрузочное тестирование, и bdui, и подходы архитектурного ревью, учения, обзервабилити, тыквы, и многое другое, о чем старые читатели этого канала могли порой думать "да зачем оно надо". Что же произошло, когда мы за короткий срок временно потеряли доступность существенной части мощностей? Вся эта развесистая система лишилась избыточного уровня резервирования и подкрепления мощностями количественно. Кворумные системы такое не любят, но были готовы. Автофейловер - отдельный вид искусства. Ядер попросту не хватало. Многие первым делом спрашивали, потеряли ли данные. Нет, критичные данные не потеряли благодаря хорошим системам репликаций и бекапирования. В большей степени у нас страдал стейтлесс-рантайм. Важно, чтобы контрол-плейн системы и обзервабилити оставались в строю, без глаз и без рук восстанавливаться категорически сложнее. Первым делом надо было восстановить базовую работоспособность сервиса и бизнеса. Дальше - жонглируешь ресурсами, вывозя основные системы практически на руках. Но кроме обработки пользовательских запросов есть еще море операционных бизнес-процессов, которые нужно было удержать на плаву. Следующая задача - подготовить компактные версии систем, которым нужно меньше мощностей. В ход пошли самые креативные способы нашакалить вычислительные ресурсы там, где их еще не искали, создать микро-версии систем, способные запускаться на микроволновке, изолировать зависимости от почти любой инфраструктуры, которая ранее считалась базовой.