Телеграм канал «Никита и его пшд»

Ну и раз я вчера упомянул, что пока еще разбираюсь с последними проектами в универе, то вот один из них — у нас взяли статью на ✨ ICML в Ванкувере ✨ про новый Test-Time Training (если вкратце, то главная идея в том, что во время инференса мы апдейтим веса модели, оптимизируя какой-нибудь self-supervised лосс — это помогает модели быть более generalizable). На самом деле, сама идея очень интересная и, как мне кажется, набирает обороты. Я сам пытаюсь её как-нибудь раскачивать (например, через эту torch-ttt либу, чекайте), о чём тоже хочу написать пару постов. Из более модного: я знаю, что TTT сейчас начали активно применять для увеличения длины контекстов у LLM-ок — об этом тоже как-нибудь напишу. Из моего опыта, TTT довольно часто может значительно улучшать перформанс модели на corrupted или out-of-distribution данных, а применять его довольно просто — это мы подробно обсудили в статье. А вот тут будет призыв к действию: для нашей статьи я подготовил кучу материалов, включая видос ниже, где постарался в целом покрыть всю идею TTT. Я потратил слишком много времени в Manim-е, всё это верстая, поэтому просмотры / лайки будут highly appreciated. Ссылки на страницу статьи, посты, код и всё вот это — оставлю ниже. Кому будет интересно, можете попробовать идею в этом ноутбуке. 📄 Paper: https://arxiv.org/abs/2410.04201 🧠 Project page: https://www.norange.io/projects/ittt/ 💻 Code: https://github.com/nikitadurasov/ittt 🎬 Video: https://www.youtube.com/watch?v=eKGKpN8fFRM 🧩 torch-ttt class: https://torch-ttt.github.io/_autosummary/torch_ttt.engine.it3_engine.IT3Engine.html 🔬 Notebook: https://colab.research.google.com/github/nikitadurasov/ittt/blob/main/exps/mnist/it3_torch_ttt.ipynb

Так-с, активности на работе оказались слишком активными, поэтому я немного выпал. Но! В начале мая я наконец-то защитил диссертацию и получил свой диплом — с этого момента совсем официально могу называть себя доктором наук. Всем спасибо, кто поучаствовал — было очень приятно всех увидеть / услышать. На самом деле, забавно, насколько это ожидаемое мероприятие, но по сути ничего магического в нём нет. Сейчас я нахожусь в состоянии, когда мои активности в универе убывают (надо было закончить пару проектов), и в целом не думаю, что появятся новые. В целом, я очень рад, что это все наконец-то закончилось и мне не придется больше писать статьи в качестве рабочих тасок))) В новой команде в нвидии тоже всё интересно, есть чем поделиться — но это я уже как-нибудь потом. А пока вот вам моя фотография с моим профом в качестве пруфа.