tl;dr: senior ml scientist/engineer, $340k-450k/year, no-lottery relocation to Berkeley, US
Модели часто занимаются реворд-хакингом – то есть делают не то, что мы от них хотели, а то, что максимизирует итоговый скор каким-нибудь читерским способом. Это, в целом, никакие не новости, но наблюдать, как это делают фронтирные LLM, всё равно впечатляет 👀
👍 Например, когда о3 выдали контест по программированию, она просто поменяла функцию-чекер, чтобы та всегда выдавала ОК на любое решение.
⏰ Или, если задача – оптимизировать кусочек кода, чтобы он работал быстрее, вместо настоящей оптимизации модель может просто... пропатчить функцию тайминга, чтобы она возвращала время работы меньше настоящего.
Это происходит без каких-то внешних промптов или подталкиваний – и достаточно часто: на некоторых задачах в 100% случаев! Кажется, что модели читерят чаще, когда видят скоринговую функцию – так её, конечно, проще обмануть; а ещё в более сложных задачах, вероятно, хитрят чаще, чем в простых.
Всё это – ресёрч, которым занимаются METR (а мы читаем, потому что интересно же). Если вы тоже хотите на работе смотреть, как читерят модели, ребята как раз ищут Senior ML Scientist/Engineer 🌟
METR — это non-profit организация, которая исследует фронтирные модели на потенциально опасные способности и поведение. Например, именно они убедили всех, что умение копировать себя или переносить на другой сервер — серьёзная штука, на которую модели нужно обязательно тестировать.
Их основал Пол Кристиано, автор RLHF, а эдвайзит самый цитируемый учёный в мире — Джошуа Бенджио. Anthropic и DeepMind упоминали, что работа METR помогла им создать свои собственные evaluations фреймворки, а ещё они партнёрятся с OpenAI, чтобы оценивать новые модели до релиза ✨
Вот что они мечтают увидеть:
➡️ очень крутые публикации (быть первым автором нескольких статей на топовых мировых конференциях);
➡️ опыт решения сложных инженерных или ресёрческих ML-задач в фронтирных лабораториях, идеально — в командах скейлинга/претрейнинга или посттрейнинга;
➡️ если у вас есть ресёрческий опыт или опыт в people management, это плюс!
Вилка $340k-450k в год, релокация в Беркли без лотереи.
Пишите Маше @masheau 🪴