Господа! Увидел тут свежие новости о том, что Microsoft готовит рекордное сокращение штатов и понял, что давно про рынок труда не писал. Исправляюсь! Пробежим кратко, но емко! 😁 Microsoft предложили 60000 сотрудников (это 27% штата, больше четверти) добровольно уволиться на хороших условиях. Лучших, чем при любимых американских, когда тебя приглашают на групповой созвон, где объявляют пока-пока, уже во время созвона блокируются доступы и карточка и из здания тебя провожает охранник. Это жесткие увольнения (о них ниже), а тут все мягче. В июле этого года Microsoft уже предлагали подобную программу и тогда 30% сотрудников на нее согласились (~9 тысяч человек). Если сейчас тоже согласится 30%, это будет крупнейшее увольнение в истории Microsoft (~9% персонала). Заметим, что с деньгами у них хорошо и, несмотря на увольнения, они продолжают активно нанимать. Блюмберг приводит к этой новости такой любопытный график (“Тысячи сотрудников были уволены, поскольку компания инвестирует в ИИ”): Доходы у них выросли относительно 2007 года в 5+ раз, а количество сотрудников меньше, чем в 2 раза и сейчас имеет явную тенденцию к сокращению. А если объявленные три дня назад мягкие увольнения будут успешны, то разница еще возрастет. В прошлый раз компания объяснила увольнения необходимостью высвобождения средств для инвестиций в компьют (то есть ради AI) и инвесторы восприняли эту новость с энтузиазмом (стоимость акций подросла). Они явно решили повторить. 🤷‍♂️ По жестким увольнениям согласно https://layoffs.fyi/ (писал про них в прошлом мае и в июне) картина такая: Самое крупное увольнение было летом у Oracle (которая тоже ввязалась в AI игру на все деньги и не рассчитала). Всего в высокотехнологичных уже уволено в этом году 135 тысяч. Если темпы до конца года сохранятся может быть до 160. Для сравнения — за ВЕСЬ прошлый год было 122 тысячи. Заметим, сайт добавил отдельный столбец — ссылались ли на проклятый AI при увольнении. В топ-10 ссылались в 80% случаев…  Причина всяко удобная: ~все сегодня можно списать на AI 😁😉, но попробуем копнуть глубже. За последние полгода вышло несколько годных исследований влияния AI на рынок труда. Сразу проспойлерю, что влияние это сейчас не слишком большое, но в июльском отчете от Аполло они даже на обложку вынесли айсберг, что как бы тонко-тонко намекает, что большая часть происходящего пока с поверхности не слишком видна: В начале отчета у них любопытный график: Видно, что математики у них были обозначены на высоком месте в группе риска еще в июле (я подробно писал, как за математиками пришли, в августе и в октябре). Интересно, что высокая уверенность в США по хирургам, терапевтам и массажистам, ну и ожидаемо низкое влияние на сантехников, дворников, танцоров, парикмахеров и барменов))) По изменению занятости и зарплат Computer Programmers возглавляют список (профессии отсортированы по оценке степени влияния на профессию от Антропиков) и там прямо ужас-ужас — сокращение за 4 года на 17% и сокращение зарплат на 6%: Но спокойно! Все не так плохо! Там довольно высоко в топе чудная профессия Data Scientists, которая выросла за тот же период на 46% при примерно той же зарплате (звоночек!), а количество Software Developers (антропики их отделили от программистов) за то же время выросло на 7,8% и даже реальная зарплата у них выросла на 1.3%. В общем — не будьте программистом! Будьте Software Developer! 😁 Ну а если серьезно, то понятно, что для чистых кодеров наступили непростые времена и как минимум идет их перетекание в другие специальности бармены там, массажисты и т.д. Именно из-за этих перетеканий (в том числе внутри компаний) сложно точно оценить происходящее даже с детальной статистикой, но процессы явно идут. Другое интересное исследование было про влияние на рынок труда активного использования подписок на AI сервисы в 21 тысяче компаний: У них такой любопытный вывод — у компаний, покупающих AI-подписки через некоторое время начинает расти штат, причем заметно сильнее, чем у не использующих (наиболее заметен рост через 2 года): Злые языки тут же скажут: «Смотрите! Им только больше людей с AI потребовалось! И это все, чего смог достичь ваш хваленый AI?», а умные заглянут в текст и увидят, что и продажников, например, тоже больше набирают, т.е. у компаний растут продажи. Потенциально — из-за повышения эффективности работы, но это еще предстоит доказать. В любом случае эффект уже вполне заметен статистически. Ну и отдельно меня согрел график численности Scientists: Забавно, что больше исследователей теперь надо и интенсивно использующим AI и не интенсивно! 😍 Оставили себе зарубочку) 😉 Также от PwC ежегодно выходит “PwC’s 2026 AI Jobs Barometer”: В нем много разных интересных графиков в основном про (очевидный) рост разных AI специальностей на рынке труда, но я бы обратил ваше внимание на эту интересную схемку: DEMOCRATISED, если кто не знает, на русский переводится как «обесценивается». Хороший пример из прошлой технологической волны: когда Яндекс.Навигатор автоматизировал нетривиальный экспертный навык навигации по Москве, то любой мигрант, плохо знающий язык и город, смог успешно водить такси. В итоге это ДЕМОКРАТИЗИРОВАЛО доходы водителей. Сейчас то же самое вангуется для 52% специальностей. Если в вашей области AI автоматизирует более экспертные задач, то зарплаты там будут демократизированы. А если AI автоматизирует более рутинные задачи, и плохо пока автоматизирует экспертные (22% специальностей), то AI ПРОФЕССИОНАЛИЗИРУЕТ область (работник смещается в сторону более сложных задач). Полезная шкала в дополнение к шкале обработки информации (AI-Equalizer vs AI-Amplifier). Ну и пара слов про наши палестины. По статистике HH.ru за прошлый год соотношение активных вакансий к активным резюме в информационных технологиях за год ухудшилось в 2 раза (было 10 активных резюме на активную вакансию, стало 20), а в этом году ухудшилось уже еще в ~1,5 раза (до 27 резюме на вакансию): Итого ухудшение за ~2 года в 2,7 раза. Во многом это следствие большого числа людей, желающих «перекатиться в IT», но явно не только. Также IT показывает в этом году самое сильное сокращение числа вакансий по сравнению с прошлым годом среди всех отраслей: Выводы — самостоятельно. Какие мысли по теме: Как я писал — бодро растет доля студентов, не читавших свой диплом. Куча студентов не понимают, зачем изучать скучную базу, когда они уже мидлы ИИ дает ответ на любой вопрос. И зачем чему-то учиться, если это уже умеет ИИ. И зачем получать зарплату, если ее уже получает ИИ, да. Уважаемые! Не спать! 😁 ИИ уже ДЕМОКРАТИЗИРОВАЛ численность Computer Programmers на 17% и их зарплаты на 6% и можно ванговать, что это только начало процесса. При этом даже активно сокращающие персонал компании продолжают нанимать. Более того, борются деньгами за тех, кто в состоянии современные алгоритмы AI создавать. В это же время в параллельной вселенной: В Китае на 1523% за год вырос спрос на инженеров внедрения, которые работают на стороне клиента, адаптируют AI-модели под реальные бизнес-процессы и доводят их до интеграции. … На фоне дефицита кадров ByteDance, Tencent, Alibaba Cloud и Ant Digital повысили зарплаты.Demand for AI engineers in China surges 1,523% Где-то активные сокращения, а где-то не могут удовлетворить спрос на специалистов и повышают зарплаты. И адаптации моделей — это не работа в три промпта (иначе, собственно, спрос бы легко покрыли без повышения зарплат). Sapienti sat! 😉 Если вам не хватает мотивации прокачиваться — ваш тег в этом канале #winter_is_coming@vgcourse

Господа! Поговорим сегодня про датасеты и fake science. В конце концов, мы живем во времена Data Science и что может быть важнее данных? 😉 Так сложилось, что в нашей области обработки видео (videoprocessing.ai — наш сайт) сравнительно мало крупных датасетов, ибо небольших задач очень много. Одних только de… т.е. удаление проблемы в видео — длинный (неполный!) список: denoising deblurring deblocking deringing debanding deinterlacing deshaking (устал линковать))) dequantization demosaicing demoiréing descreening despeckling dehazing defogging deraining … (и дальше еще куча не de… например, наш любимый super-resolution и много-много других преобразований))) И для каждой задачи нужно несколько хороших датасетов! При этом часто сделать качественный датасет сложно, долго и дорого. Помню, когда-то давно мы посмотрели датасеты по маттингу для https://videomatting.com/ (тоже наш сайт, еще жив))), прослезились, и прикинули — ну за 3 месяца-то сделаем! ЩАС! Процесс занял ГОД! Он снимался методом stop-motion с высоким разрешением на голове манекена с реальными волосами толщиной ~0,08 мм. Вибрации от ходивших по коридору людей двигали волосы: съемку перенесли на ночь. Волосы двигали потоки воздуха: сделали короб. В коробе начали перегреваться сервоприводы: сделали остановки для охлаждения. Волосы бликовали… Короче, реально пришлось упарываться для получения качества. Но не зря — методику построения датасета мы далее продали Huawei дороже, чем сделанный на этом датасете алгоритм))) Данные в эпоху data science оказались важнее! Другой наш старый известный датасет SAVAM мы делали совместно с ИППИ РАН около года. А MSU CVQAD собирали при поддержке Intel и Huawei вообще 7 лет(!). И не зря! Он получился самым большим по разнообразию кодеков и одним из самых крупных по размеру среди всех академических и на нем не воспроизвелась на данный момент НИ ОДНА академическая SOTA метрика с 2016 года, когда Netflix выкатила VMAF. Netflix, очевидно, обучала VMAF на очень большом (и дорогом) датасете, который не выложила. А дальше началась классическая чистая незамутненная наука, когда брались небольшие датасетики и на них люди радостно рапортовали, что они обогнали VMAF (конечно-конечно!). А дальше приходили новые люди и обгоняли тех, кто обогнал (естественно!). А дальше следующие… И чем дальше, тем меньше была вероятность, что результат типа «новой SOTA» воспроизведется на других данных, поскольку происходила (естественно!) заточка под эти. Так работает наука. В какой-то момент приходили новые товарищи, говорили нам тоже надо публиковаться а давайте мы еще датасетик за месяц разметим и покажем, что на нем результаты прошлых SOTA не воспроизводятся! А давайте! И весь цикл повторялся. Статьи писались. Датасетики по чуть-чуть прирастали. И все счастливы! Как следствие публикация крупных аккуратных датасетов в области для тех, кто привык в рамках описанного цикла отчитываться по грантам — это прямо серпом по пальцам (т.е. очень-очень больно). Во-первых, на крупном, как правило львиная доля «прошлых сот» не воспроизводится. Во-вторых, на нем тупо во много раз дороже обучать. В-третьих, на нем существенно сложно обогнать реальных лидеров. Сплошные обломы! Выход очевиден — нужно под любым предлогом топить крупные датасеты при рецензировании. Истории запинывания были далеко не единичны и на итог на конференциях был сделан специальный трек для датасетов, когда их оценивают те, кто другие датасеты делает, чем те, кому они всю малину, как бы так помягче… ну вы поняли) Описанная проблема часть более крупной, которая называется Replication crisis и я еще 7 лет назад опубликовал на хабре статью Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории, которая стала лучшей статьей года в номинации ИИ. Там как раз с чудной статьи с CVPR рассказ начинается и несколько путей Fake Science описывается. И проблема эта старая. 14 лет назад мы прошли (большими трудами) в один грант Cisco/Intel/Verizon по сжатию видео, куда прошло 5 университетов из 15 дошедших до полуфинала, и где был тот самый Алан Бовик, научный руководитель Zhou Wang, про которого я писал недавно — обладатели двух статуэток Emmy Award за алгоритмы качества видео. Плюс он самый цитируемый ученый в нашей области (220000 цитат, 145 Хирш)! Так вот. Он рассказывал, что в некоторых журналах и на некоторых конференциях опубликоваться не может, поскольку стабильно статью мурыжат и приходят разгромные рецензии. У него и методы работают, и датасеты большие и приличные. Это же просто невыносимо!!!) Замечу, что товарищи ученые, выражающие презрительное отношение к созданию датасетов есть и у нас. Делать датасеты не круто. Круто делать на потоке неработающие SOTA методы на мизурушных датасетах! Ведь все это делают!) Вот это настоящая наука! Очевидное следствие широкого распространения fake science — сильнейшее разочарование в науке у людей из компаний. Дословно: — Все статьи — скам! Оно вообще ничего не работает! Я это слышу регулярно, особенно в российских компаниях. И это очень глупая позиция. Ибо все придумывать с нуля самостоятельно — крайне неэффективно даже с помощью агентов. А чтобы грамотно классифицировать, что будет работать, а что нет, нужно хорошее понимание, как работает процесс написания и рецензирования статей в топовых местах. И тот, кто это лучше понимает —  быстрее создает конкурентоспособные наукоемкие технологии. И это один из «секретов» Китая, кстати. Там армия аспирантов прокачивается на А* конференциях, а потом уходит в компании и там круто фигачит. Реально круто. Про свежие результаты сравнения кодеков и видеосервисов до конца года обязательно подробно публично напишу. 🫡 Вернемся к Бовику в разрезе компаний. Из последнего вытекает логичное, что сколь сильно его не любят некоторые коллеги, насколько сильно его любят компании. У него бюджет лаборатории доходил до 1 миллиарда рублей на наши деньги в год. Как у нас бюджет среднего размера университета, только маленькой лаборатории, делающей реально работающие вещи. И это очень хороший пример для подражания, как минимум в экосистеме, где компании озабочены конкуренцией и активно сотрудничают с университетами (аналогичную экосистему за последние годы успешно выстроил Китай). Ну а мы продолжаем фигачить!) 😁 Сейчас подходит к концу (надеюсь) длинный сложный проект создания датасета для нескольких алгоритмов обработки данных с матрицы телефона. Зацените это короткое видео: Мы снимаем большой датасет Была куплена платформа типа тех, что используются в 3D принтерах, которая с большой точностью движется по рельсам, на ней крепятся разные телефоны, которые снимают много-много RAW кадров с небольшим смещением. Их специальное усреднение дает «идеальный» результат, а отдельные кадры превращаются в видео, которое поступает на вход алгоритму. Делается много прогонов с разным по силе освещением (чем темнее сцена, тем сложнее работать алгоритмам), с разными телефонами, на разных сценах. Освещение выставляется по люксометру. В комнате блэкаут шторы и много других заморочек, чтобы данные разных прогонов, сделанных в разные дни (и месяцы!) можно было корректно сливать и сравнивать.

Господа! 8 августа у меня был большой пост про математиков. Краткое содержание предыдущих серий: В начале лета была опубликована Лейденская декларация об ИИ и математике, в которой математики выражали озабоченность быстрым прогрессом ИИ. Я рекламировал интервью одного из лучших математиков современности Терренса Тао Дваркешу Пателю (« ИИ снизил стоимость генерации идей почти до нуля») и описывал прогресс в решении задач списка Эрдёша (скорость 0,5% в год вдруг резко выросла до 10% в год и продолжает ускоряться). Следствием был чудный текст "Темная ночь математики" у автора которого депрессия и предчувствие потери работы. Первопричина происходящего на мой взгляд в том, что обучение нейросетей доказательствам (при соблюдении некоторых условий) давало заметное повышение результатов в других доменах (программировании, юриспруденции и т.д.). Способность к более сложным и длинным цепочкам рассуждений решает. Замечу, что и для нейросети между ушами это верно. На собеседованиях в нашу лабораторию мы уже много лет интересуемся, как у студента с математикой и корреляция со способностью создавать сложные алгоритмы весьма заметна. Математику не зря «царицей наук» называют. А дальше развитие LLM быстро пришло к ситуации, когда все простые бенчмарки были решены. Хорошую линейку математических бенчмарков FrontierMath сделали Epoch.AI. Они довольно бойко решались и летом прошлого года был предложен FrontierMath Tier 4 — самая сложная версия. Для Tier 4 они специально собрали 30 математиков, заплатили им 25К USD за лучшие задач, отобрав 50 задач типа "исследовательский проект", ни одна из которых до этого не публиковалась. Они утверждают, что получился уровень, который не под силу ни одному математику-человеку (уж больно из разных доменов требуются знания), т.е. такой бенчмарк мог затащить за короткий срок только коллектив математиков. Далее — они постарались отобрать только задачи, которые требовали креативности. Нужен был творческий ход и соединение разных концепций, а не какая-то одна формула. Сначала в нем было 50 задач, потом в v2 7 задач удалили и 12 исправили. Вот график решения v2 (из свежего State of AI 2026): Видим, что за 14 месяцев пройдет путь с нуля и до свежих 100% от GPT-6.1 Sol. Какое-то время бенчмарк еще будут использовать для оценки более легких дистиллированных моделей, но в целом скорость его решения впечатляет… И это не предел, сила моделей растет. 6 октября OpenAI ошарашила математиков мира публикацией 722 решений разных математических задач. Впечатляет, как реагируют на него математики в терминах 5 стадий принятия неизбежного. Поэтом я заглянул в раздел теории групп. Это выглядело нереально. Это были почти все основные открытые проблемы в моей области! Как это возможно? [...] Остаток дня показался мне долгим. Пришло еще больше сообщений. [...] Некоторые люди все еще утверждали, что проблемы, решаемые в их областях, на самом деле не так важны. Но, думаю, я уже прошел этот этап.Xiaolei Wu Похоже на очень быстрый переход от отрицания к принятию. Круто! И человек крутой! Но дальше больше: Сегодня мои главные чувства - это дезориентация и недоумение. Темп событий настолько опередил нас, что невозможно понять, как следует реагировать, или даже с чего начать выяснять, как реагировать. Меня больше всего беспокоят перспективы подготовки следующего поколения математиков: мы знаем, сколько времени и усилий требуется, чтобы усовершенствовать свое мастерство в нашем предмете до такой степени, чтобы человек мог внести значимый вклад в развитие науки, и я обеспокоен тем, что стимулов для такой большой работы, похоже, больше не существует. Henry Bradford А это скорее депрессия от понимания больших неизбежных изменений в области. Я не луддит, скорее наоборот. Я использовал и продолжаю ежедневно использовать искусственный интеллект… Однако сегодняшнее объявление меня искренне взбесило... Я не думаю, что мы, как сообщество, должны тратить свое время на наведение порядка в своих сообществах, чтобы увеличить чьи-то коммерческие доходы.Enrico Fatighenti Ну это гнев. И призыв бойкотировать OpenAI и другие топовые компании. Прежде всего, я не хочу быть частью того, что в некоторых случаях было бы равносильно бесплатной рекламе и бесплатному рецензированию результатов OpenAI, способствуя распространению ложного представления о том, что эта компания в настоящее время активно сотрудничает с математическим сообществом.Alexandre Martin Отрицание и гнев. И отказ от сотрудничества. Ну, такое ощущение, что мы 4 года работали на археологических раскопках, постепенно обнаруживая все больше и больше по-настоящему классных скелетов динозавров, а потом появилась компания стоимостью в триллион долларов и просто взорвала все это тротилом, вручила нам [потрепанный] скелет и ушла. Я бы сказал, “это не здорово”.Matt Zaremsky Отрицание и классная аналогия. Мое первое впечатление было печалью, когда моя любимая проблема «убита» ИИ; определенно легче игнорировать проблему, когда она не влияет на вас напрямую. Затем я чувствовал стресс, потому что в настоящее время я подаю заявку на постдоков, и большая часть моего исследовательского плана устарела. Я в панике провел все утро, отправляя электронные письма сотрудникам.Tristan Humbert Кстати, хороший вопрос, как давать гранты в такой ситуации? Поскольку вероятность, что поданная в гранте задача будет решена еще до того, как грант одобрят стала стала велика, как никогда раньше. 🤯 Терренс Тао звучит крайне конструктивно на этом фоне: «Математика 1.0» закончилась. Теперь, когда получение доказательств оптимизировано и подешевело донельзя пришло время 2.0, где основной ценностью будет изложение [и проверка] доказательств. Короче: Нашему сообществу необходимо будет явно пересмотреть свои критерии в отношении образования, публикаций и карьерного роста, чтобы отразить эру "Математики 2.0". Terence Tao Короче, господа! За математиками пришли! И теперь вместо творческой работы над доказательствами им предстоит (пока это не автоматизируют) проверять тонны доказательств ИИ (жесть и рутина). Правда в некоторых компаниях Senior SE уже полгода в основном PR проверяют (та самая рутина), что порождает характерные мемы: Ну а в целом я вполне оптимистичен касательно будущего подавляющего большинства математиков (тех из них, кто готов учиться и вкатываться в новые темы). Областей, где нужны выдающиеся способности глубоко понимать сложные модели хватает. Ну и глобально, напомню, я топлю за AI-Amplifier области (подробнее про них тут), в которых ИИ будет расслаивать людей на тех, кто такие области потянет (и это будет непросто) и тех, кто выберет более простые пути сегодня, но не сможет затащить потом перекатывание в такие области. Традиционно всем конкурентоспособности! Она вам точно в ближайшие 5 лет пригодится! 💪 Sapienti sat! 😉 Больше мотивации по теме: #winter_is_coming@vgcourse и #speed_of_progress@vgcourse @vgcourse #winter_is_coming #speed_of_progress