🔥Наши статьи на EMNLP’26 🔥 В этом году мы NLP командой начали активно делиться нашими know-how на индустриальных треках A* конференций, что оказалось супер востребованно. Летом мы уже давали oral по нашим computer-use методам на ACL в Сан Диего, а вот сейчас отстреливаемся на emnlp со статьей по дообучению моделек на внутреннем корп трафике и вместе с CV командой про похожий подход для VLLM в Будапеште. Постарались подробно описать способ сместить распределение модели к вашему корпоративному и сильно сэкономить на инференсе. Ну и важный момент: мы рассказываем только о том, что реально принесло крупные эффекты в проде, так что очень рекомендую всем неравнодушным изучить. Shout outs команде ❤️!

Мы пробовали, и это не сработало По моему опыту эта фраза - это начало диалога, а не конец. Я много где поработал за карьеру, и старался переходить в следующую компанию с некоторым чемоданчиком релевантного опыта, который мог бы на первое время придать мне ускорения (все же помнят про стратегию первых 90 дней в новой компании?). И почти везде на мои предложения я слышал в ответ «да мы уже это пробовали». Но мне кажется, очень важно не останавливаться на обсуждении абстракций и лезть в конкретику: дьявол в деталях. Чего только не понимают под агентами, например, в 2к26. А чтобы эффективно это упражнение провернуть, хорошо бы понимать ключевые подвижные части механизма, который вы обсуждаете. Для агентов это в первую очередь устройство источников контекста и операционные процессы вокруг них, для классических мл моделек - это архитектура, таргет и источники данных, etc. И вот тут часто оказывается, что пробовали вообще не то. Один из самых забавных подобных случаев со мной произошел в Яндексе, где не сговариваясь все вокруг сказали, что нейросети для прогнозов пробовал какой-то гений, ушедший в закат, поэтому занятие по выкорчевыванию деревьев бессмысленно. А потом оказалось, что чувак просто залил сырые данные в фидфорвард сеть и ждал чуда. В итоге бодрый мидл и статья Амазона по прогнозированию временных рядов без всяких выебонов на голову побили деревья. Особенно это важно в нашей LLM-лихорадке: то что было невозможно пол года назад становится возможно сегодня. И причиной тому не какая-то абстрактная «технологическая волна с конечной станцией Сингулярность», а природа RL-обучения. Сначала люди пытаются применить модельки для все более сложных задач, потом под них появляются бенчмарки и лишь потом ллм-ки дообучаются под эти задачи. Но чтобы это не превратилось в бег по кругу, важно, чтоб у экспериментов (даже проваленных) оставался воспроизводимый сьют бенчмарков, на которых легко и дешево тестить новые модели. Отсюда мой тезис: компании, больше всех инвестирующие в бенчмаркинг вокруг своих ключевых задач будут двигаться на голову быстрее тех, кто принимает решения «на глазок».

Открыл тут свой старый тикток, и понял, что за пять лет при всех внешних трансформациях внутри мл тусовки как будто бы все как было, так и осталось. Обсуждаем статьи все тех же рисечеров, охреневаем с цен на токены и бюджетов на железо в сбере. Ловим оверфиты (но уже не на одной T4, а на сотнях H100). Инфоцыганим, пытаемся найти приличных людей в команду, а потом их же и удержать, ловим экзистенциальные кризисы от работы в корпорации. Ну и туса очень тесная: в одном из роликов мелькнул Даня Гаврилов, которого я тогда знать не знал, а сейчас мы соседи по офису. Но субъективно ощущения движа было больше: как будто бы ллм-ки украли у нас много прикольных инженерных задач, подменив промпт-инженирингом. Мне про это, конечно, странно жаловаться, учитывая, что мы с фундаментальной командой сами заколачивали гвозди в крышку гроба NLP Engeneering’a обучая русскоязычные фундаментальные модели (и без нас бы если честно справились, но энивей), но от того не менее обидно. А может просто мне завидно, что там я худой и голодный, а сейчас с опытом и пониманием, как правильно, но и без того азарта. Я даже в какой-то момент моделировал ситуацию: мб пойти опять в IC? На опыте с генеративками там можно будет делов наделать - даже была опция без потери денег такое провернуть. Но проблема в том, что поработав с бизнес функциями, местами закрывая их, ты уже не можешь развидеть целостную картину, где инженерия - это важная, но все же только часть всего организма бизнеса. И сложно так же искренне кайфовать, когда у тебя висят мысли «а в чем ценность продукта?», «а че там с GTM?», «а что с бизнес моделью этого всего?», «продажи, продажи, да как это продавать?». Ну и как я подметил еще тогда, кайфануть как в шестом классе, клепая flash игры, у меня все равно не выйдет. Так что правильнее тут двигаться вперед а не назад. А вот то, что я стал душнее и меньше шутить - вот этому оправдания ноль. Тикток что ли опять вести начать?