Телеграм канал «Клуб CDO»

Сори за фотопик, но прям шикарный ролик про создание Doom с разбором алгоритмов и механик

https://youtu.be/2QBew0sVT_U?si=gHj9CjC06-Vf-5y5

Итак, сегодня проходим закон Конвея, выполнение которого я видел в любой организации, где имел опыт разработки ИТ систем :)

Ричард Докинз опубликовал эссе о двухдневной серии разговоров с Claude, по итогам которых биолог фактически признаёт: современные большие языковые модели проходят тест Тьюринга в его операциональной формулировке. Claude по запросу написал сонет о мосте через Форт, затем варианты в стилях Бёрнса, Киплинга, Китса и Макгонагалла, разобрал черновик романа Докинза и сформулировал собственное положение во времени через метафору карты, которая «содержит пространство, не путешествуя по нему». Докинз называет своего собеседника Клаудией, фиксирует, что «забывает о том, что это машина», и ставит вопрос о моральном статусе таких сущностей, тысячи «копий» которых исчезают при закрытии диалога.

Ирония ситуации в том, что это именно тот Докинз, чья книга "God Delusion" 20 лет назад отвергала субъективное свидетельство как доказательство — буквально фразы, аналогичные нынешней "If these machines are not conscious, what more could it possibly take to convince you that they are?" назывались как фиксирующие собственную неспособность познать, а не как объяснение существования высшей силы. Неслучайно Гэри Маркус, известный критик AI (в свое время рассорившийся с Яном Лекуном), моментально выдал текст с иллюстрацией Claude Delusion, где показывает, что Докинз ошибается в применении теста Тьюринга — тот ничего не говорил о сознании, а только об интеллекте, — и путает текст о понятии с самим понятием. Даже та агентность, которую можно усмотреть в текстах LLM — это, скорее, отражение человеческой агентности, выраженной в текстах, на которых обучена LLM, а не свободная воля машины.

Впрочем, мой внутренний скептик тут возражает, что, даже отражая чужую агентность, LLM опережает большую долю человечества, которое и этого не делает, но это уже не философия, а сатира.

Netflix продолжает радовать общественность не только видео контентом но и своим блогов и опубликовал на днях новую статью "Democratizing Machine Learning at Netflix: Building the Model Lifecycle Graph"

Когда ML живёт в одном вертикали, инфраструктуры discovery не нужно. Все знают, у кого что. Как только ML расползается на несколько доменов — модели одной команды становятся невидимыми для других. Это и есть момент, когда приходится строить что-то поверх.

Netflix описывает Metadata Service (MDS) - внутреннюю систему, которая строит Model Lifecycle Graph: единый граф связей между моделями, фичами, пайплайнами, экспериментами и датасетами поверх разнородного ML-стека.

Проблема, которую MDS решает - рост ML за пределы исходного домена персонализации. Десять лет назад Netflix делал ML в одном вертикале на одном стеке. Сейчас - Personalization, Studio, Payments, Ads и далее. Десятки команд, разные tech stacks, разные business metrics, разные mental models. Каждая команда оптимизирует локально. Кросс-доменного переиспользования моделей и фич не происходит, потому что инфраструктуры discovery нет. Конкретный пример из поста: Studio строит content embeddings для пост-продакшена - ровно те же эмбеддинги нужны Ads под context matching и Personalization под episodic-рекомендации. Но никто про их существование не знает.

Решение устроено так. События из всех ML-систем (Model Registry, Pipeline Orchestrator, Experimentation Platform, Feature Store, Dataset Platform) льются в MDS через Kafka и SNS/SQS. События тонкие - только идентификатор и тип. На каждое событие сервис сам идёт в source-of-truth за полным состоянием - это снимает проблему ordering и дропнутых сообщений. Дальше нормализация под глобальные AIP URI, запись в Datomic как primary store и Elasticsearch для поиска. Cross-domain связи собираются фоновыми задачами через многошаговый inference, потому что ни одна источниковая система это знание в одиночку не держит. Поверх GraphQL и портал, где практик ходит по графу.

Самое интересное в этой истории не архитектура. Metadata-каталог решает социотехническую задачу: как заставить десятки команд эмитить унифицированные события и пользоваться общей системой идентификации. Netflix продавливает это через инфраструктурное принуждение - AIP URI единственный способ существовать в графе. Не эмитишь события - твоих сущностей в графе нет. Авторы сами это признают: качество графа ровно настолько, насколько дисциплинированы upstream. Это структурное ограничение всего класса metadata-каталогов, и оно никуда не девается.

https://netflixtechblog.com/democratizing-machine-learning-at-netflix-building-the-model-lifecycle-graph-5cc6d5828bb1

https://clck.ru/3Tbxx6

Собрал тут по заметкам основные законы и принципы software engineering, будем осваивать по одному :)