Телеграм канал «Голубь Скиннера»

(Продолжение) 4️⃣Large Language Models Show Signs of Alignment with Human Neurocognition During Abstract Reasoning ✳️Данные: высокоплотная ЭЭГ (64 канала) и движения глаз во время выполнения задачи на завершение абстрактных последовательностей (напр., ABBAABBA). Каждая последовательность подчинялась своему внутреннему правилу. ✳️Подход: сравнение геометрии различий между абстрактными паттернами в мозговых сигналах (потенциалы ЭЭГ, связанные с фиксацией взгляда) и в скрытых представлениях разных слоёв нескольких открытых LLM. ✳️Результаты: - Крупные LLM (70B параметров) справлялись с задачей почти так же, как люди, тогда как мелкие модели показывали значительно худший результат. - Те же правила, которые вызывали трудности у людей, оказывались трудными и для LLM. - Внутренние состояния LLM группировались по смыслу правил, а не случайным образом: чем более выраженной была группировка, тем лучше модель справлялась. - Структура различий между паттернами в средних слоях LLM частично совпадала со структурой различий в мозговых сигналах у людей, что говорит о схожих принципах обработки абстрактных правил. Вместе эти исследования показывают, что хотя модели и мозг устроены по-разному, их внутренние коды оказываются сопоставимыми, и это открывает новые способы исследований того, как человеческий мозг обрабатывает информацию.

Мозг и LLM: совпадение представлений #ai #neuroscience В этой подборке я описала несколько свежих работ, в которых большие языковые модели (LLM) оказываются полезным инструментом для фундаментальной нейронауки. В этих исследованиях используются скрытые векторные представления (так называемые эмбеддинги) — внутренние числовые коды, в которых модель фиксирует содержание входной информации. Именно эти представления соотносятся с данными мозговой активности или поведения, а выявленные совпадения позволяют по-новому взглянуть на то, как мозг кодирует информацию. 1️⃣ High-level visual representations in the human brain are aligned with large language models ✳️Данные: фМРТ участников, которые смотрели на тысячи естественных изображений. Каждому изображению соответствовали подписи с описанием их содержания. ✳️Подход: сопоставление векторных представлений из LLM (полученных по текстовым подписям к изображениям) с мозговой активностью, а также обучение нейросетей, которые по самим изображениям предсказывают эти LLM-представления. ✳️Результаты: - Представления LLM хорошо совпадают с активностью в высокоуровневых зрительных областях. - По активности мозга можно восстановить текстовое описание сцены: значит, в изучаемых областях действительно присутствует семантический уровень кодирования. - Нейросети, обученные предсказывать такие представления LLM по самим картинкам, объясняют мозговые данные лучше, чем многие современные модели зрительного восприятия. - Авторы специально проверили разные варианты входных данных (категории объектов, отдельные существительные или глаголы из подписи) и показали, что именно полные описания, на основе которых LLM учитывают весь контекст, дают наилучшее совпадение с мозговой активностью. - Хотя LLM вообще не имеют зрительного опыта, их представления могут совпадать с мозговыми потому, что они кодируют статистические закономерности окружающего мира, усвоенные с использованием языка. 2️⃣Contextual feature extraction hierarchies converge in large language models and the brain ✳️Данные: инвазивные записи ЭЭГ пациентов во время прослушивания естественной речи, 707 электродов в слуховых и речевых зонах. ✳️Подход: сравнение представлений разных слоёв LLM с иЭЭГ-сигналами и оценка того, какие слои лучше всего предсказывают активность разных участков слуховой и речевой коры. ✳️Результаты: - Более сильные модели лучше предсказывали нейронные ответы. - Важным оказалось не только совпадение по точности предсказания в целом, но и совпадение по организации: у сильных моделей иерархия слоёв отражает иерархию обработки в мозге — от ранних слуховых областей к более высокоуровневым. - При этом такие модели не только более “похожи на мозг”, но используют меньше слоёв для достижения адекватного уровня кодирования. - Таким образом, улучшение качества моделей сопровождается сближением их вычислительных принципов с мозгом, а не только ростом точности предсказаний. 3️⃣Human-like object concept representations emerge naturally in multimodal large language models ✳️Данные: изображения более 1800 предметов, по которым были собраны миллионы суждений “odd-one-out” (какой из трёх объектов лишний) у людей, LLM и мультимодальных LLM (MLLM), а также фМРТ-активность зрительных областей мозга в ответ на те же объекты. ✳️Подход: извлечение векторных представлений объектов из суждений людей и моделей и сопоставление их структуры между собой и паттернами мозговой активности в зрительных областях. ✳️Результаты: - И у людей, и у моделей представления объектов складываются в понятные сематические кластеры (напр., живое VS неживое, естественное VS искусственное). - Мультимодальные модели (MLLM), обученные одновременно на текстах и изображениях, особенно близки к людям: их представления объясняют поведенческие ответы почти на уровне верхней границы. - Те же представления объясняют фМРТ-активность в областях мозга, чувствительных к категориям объектов. - Таким образом, модели без прямого доступа к человеческим нейроданным самостоятельно развивают концептуальные схемы объектов, близкие к тем, что использует мозг.

Иммунитет в режиме предсказания #neuroscience Публикация: Trabanelli, S., Akselrod, M., Fellrath, J., Vanoni, G., Bertoni, T., Serino, S., ... & Serino, A. (2025). Neural anticipation of virtual infection triggers an immune response. Nature neuroscience, 1-10 Когда мы думаем об иммунитете, упрощённо представляется физический контакт: вирус попадает в организм, а иммунные клетки атакуют. Но новое исследование, опубликованное в Nature Neuroscience, показывает, что всё гораздо интереснее. 😎Помещенным в VR участникам демонстрировали “заражённые” аватары с симптомами инфекционных заболеваний. Дополнительно в качестве контроля предъявлялись нейтральные и пугающие аватары без инфекции. Оказалось, что мозг реагирует на инфицированные аватары как на реальную угрозу. Активировались зоны, отвечающие за периперсональное пространство (PPS) — ту невидимую защитную зону вокруг тела,в которой всё воспринимается как потенциально опасное. Причём реакция возникала ещё тогда, когда аватар был далеко: мозг заранее выявлял угрозу и активировал сеть значимости, которая фильтрует все важные стимулы. 🦠Однако наиболее важный результат заключается в том, что организм и запустил реальный иммунный ответ без какого-либо контакта с патогеном. После VR-сессии в крови участников действительно менялся состав клеток иммунной системы. Больше всего реагировала группа так называемых врождённых лимфоидных клеток, которые включаются при любой инфекции быстрее всего. Интересно, что такие иммунные изменения были сопоставимы с тем, что происходит после настоящей прививки от гриппа. Таким образом, мозг, заметив виртуальную угрозу, дал команду, и иммунитет перестроился почти так же, как если бы в организм ввели вакцину. 🧪При этом другие иммунные защитники — NK-клетки — почти не реагировали. Это логично, если вспомнить их роль: они активизируются, когда вирус уже успел внедриться в клетку. Поскольку в эксперименте никакого реального заражения не было, перестройка пошла за счёт более универсальных лимфоидных клеток. Такая “перестраховка” организму нужна с учётом быстрого воздействия вирусов. Мозг в этом случае выступает как ранний сигнализатор: заметив угрозу ещё на подступах к телу, он запускает иммунные механизмы заранее. Это напоминает принцип дымового датчика: лучше пусть тревога сработает зря, чем не прозвенит в нужный момент. Эволюционно это выгодно: организм экономит время, создавая задел для защиты ещё до контакта с патогеном. Конечно, взаимодействие нервной и иммунной систем давно не секрет, но до сих пор речь шла в основном о реакциях на уже случившееся событие — болезнь, травму, инфекцию. Новизна же этой работы в том, что, как выяснилось, иммунный ответ можно запустить ещё до контакта с патогеном на основании предсказанных мозгом сенсорных сигналов об угрозе. Получается, что наш иммунитет — это не только система реагирования на факт заражения, но и система прогнозирования, тесно связанная с мозгом.

(Продолжение) 6. Научное СДВГ как стратегия 🤪 По своему опыту могу сказать, что в аспирантуре легко оказаться распростёртой между десятком проектов. Логично, что это мешает сконцентрироваться и максимизировать «выхлоп» из основной темы. Но у такого распыления есть оборотная сторона: оно даёт насмотренность, тренирует гибкость, позволяет опробовать разные методы и расширить взгляд на ваши основные исследования. Очень часто бывало так, что набив шишки в одном из проектов, я могла увидеть выход из тупика в другом. В результате, как ни странно, к концу аспирантуры вы сможете более избирательно подойти к вопросу о том, какие направления вы будете приоритизировать в своей дальнейшей карьере. Однозначно я не рекомендую на все предложения по проектам отвечать утвердительно, но и изолироваться в рамках одной задачи тоже не стоит. 7. Аспирантура как марафон 🐈 Часто можно встретить справедливое утверждение, что аспирантура — это не спринт, а марафон. Но по моему ощущению это скорее марафон, состоящий из серии спринтов. Не продуктивно тянуть все задачи дозированно и параллельно: энергия рассеивается, движение замедляется. У «научной продукции» есть свой ритм: этап подготовки к исследованию, этап накопления данных, этап анализа, этап написания статей и т. д. Каждый из этих этапов требует разного темпа и разной концентрации. Поэтому эффективнее работать блоками: например, 1-2 недели полностью погружаться в один проект, а затем переключаться на следующий. 8. Не игнорируйте конференции 😎 Публиковаться важно. Но не менее важно уметь рассказывать о своих исследованиях. Конференции — это площадка, на которой вы делаете свою работу заметной. Именно на ней у вас есть возможность рассказать о работе так, чтобы аудитория захотела узнать больше, прочитать статью (если она уже опубликована) или начать сотрудничать. При этом доклад — это история, а не свалка технических деталей, какими бы очаровательными они ни казались лично вам. У слушателей должна сложиться ясная картина: зачем вы взялись за эту задачу, что удалось сделать и почему это значимо. Технические подробности нужны, но лишь постольку, поскольку они поддерживают основную линию нарратива. 9. Найдите свою метрику прогресса 👍 У одних это написанные страницы диссертации, у других — количество протестированных моделей или полученных графиков, у третьих — количество часов сфокусированной работы. Без личной метрики очень легко впасть в иллюзию, что вы топчетесь на месте. 10. Логистика и здравый смысл 🕺 Не забывайте про базовые вещи: спите и питайтесь нормально. Делайте бэкапы данных и держите код в чистоте — вы скажете себе за это спасибо в будущем. Не стесняйтесь обращаться за помощью к коллегам, друзьям или даже ИИ. Не бойтесь задавать «глупые вопросы», они могут сэкономить месяцы. Всегда имейте запасной план эксперимента на случай, если основной рухнет. И помните: если вы удачно защитите диссертацию, диплом будет радовать ваш глаз и откроет вам некоторые двери, а привычки и вкус к науке останутся с вами надолго. Получается, цель аспирантуры — не только защита сама по себе, а то, кем вы станете, пока до неё доберётесь.

(Продолжение) 6. Научное СДВГ как стратегия 🤪 По своему опыту могу сказать, что в аспирантуре легко оказаться распростёртой между десятком проектов. Логично, что это мешает сконцентрироваться и максимизировать «выхлоп» из основной темы. Но у такого распыления есть оборотная сторона: оно даёт насмотренность, тренирует гибкость, позволяет опробовать разные методы и расширить взгляд на ваши основные исследования. Очень часто бывало так, что набив шишки в одном из проектов, я могла увидеть выход из тупика в другом. В результате, как ни странно, к концу аспирантуры вы сможете более избирательно подойти к вопросу о том, какие направления вы будете приоритизировать в своей дальнейшей карьере. Однозначно я не рекомендую на все предложения по проектам отвечать утвердительно, но и изолироваться в рамках одной задачи тоже не стоит. 7. Аспирантура как марафон 🐈 Часто можно встретить справедливое утверждение, что аспирантура — это не спринт, а марафон. Но по моему ощущению это скорее марафон, состоящий из серии спринтов. Не продуктивно тянуть все задачи дозированно и параллельно: энергия рассеивается и ничего не двигается. У «научной продукции» есть свой ритм: этап подготовки к исследованию, этап накопления данных, этап анализа, этап написания статей и т. д. Каждый из этих этапов требует разного темпа и разной концентрации. Поэтому эффективнее работать блоками: например, 1-2 недели полностью погружаться в один проект, а затем переключаться на следующий. 8. Не игнорируйте конференции 😎 Публиковаться важно. Но не менее важно уметь рассказывать о своих исследованиях. Конференции — это площадка, на которой вы делаете свою работу заметной. Именно на ней у вас есть возможность рассказать о работе так, чтобы аудитория захотела узнать больше и прочитать статью (если она уже опубликована). При этом доклад — это история, а не свалка технических деталей, какими бы очаровательными они ни казались лично вам. У слушателей должна сложиться ясная картина: зачем вы взялись за эту задачу, что удалось сделать и почему это значимо. Технические подробности нужны, но лишь постольку, поскольку они поддерживают основную линию нарратива. 9. Найдите свою метрику прогресса 👍 У одних это написанные страницы диссертации, у других — количество прогнанных моделей или полученных графиков, у третьих — количество часов сфокусированной работы. Без личной метрики очень легко впасть в иллюзию, что вы топчетесь на месте. 10. Логистика и здравый смысл 🕺 Не забывайте про базовые вещи: спите и ешьте нормально. Делайте бэкапы данных и держите код в чистоте — вы скажете себе за это спасибо в будущем. Не стесняйтесь обращаться за помощью: коллеги, друзья или даже ИИ — всё это ресурсы, которыми стоит пользоваться. Не бойтесь задавать «глупые вопросы», они могут сэкономить месяцы. Всегда имейте запасной план эксперимента на случай, если основной рухнет. И помните: если вы удачно защитите диссертацию, диплом будет радовать ваш глаз и откроет вам некоторые двери, а привычки и вкус к науке останутся с вами надолго. Получается, цель аспирантуры — не только защита сама по себе, а то, кем вы станете, пока до неё доберётесь.

Staying alive? Заметки после защиты #аспирантское #mental_health #metascience Прошло почти два месяца с защиты. Всё это время жизнь не стояла на паузе — проекты и задачи шли своим чередом. И лишь сейчас появилось ощущение, что можно попробовать оглянуться назад. Путь в аспирантуре у каждого складывается уникально, своеобразно обнажая слабые места и испытывая на прочность. Поэтому вместо универсальной инструкции по выживанию ниже я приведу небольшой список советов. Я знаю, что этот канал читают те, кто сейчас в аспирантуре или планирует туда поступать, и надеюсь, что этот список окажется для вас полезным. 1. Не демонизируйте и не превозносите диссертацию 💻 Диссертация — это не magnum opus и не вершина карьеры. Степень — не венец ваших академических достижений, а скорее лицензия, позволяющая полноценно работать в науке дальше наравне с другими. Она подтверждает, что вы способны провести самостоятельное исследование и довести его до результата. Это ваш пропуск в профессию. Поэтому важно помнить, что лучшая диссертация — завершённая. Также необходимо различать два уровня: диссертация — это формализованный проект со своей логикой и сроками; научная деятельность — более широкое и живое поле, в котором пробуются разные подходы и допускается больше рисков. Если вам удалось совместить эти уровни, вам повезло. Если же в аспирантуре вы не сгенерировали шедевры научной мысли и «великие открытия», это не должно препятствовать вашей защите. 2. Наука как топливо 🔥 В попытках завершить диссертацию не позволяйте себе халтуру: высокая научная планка — это отдельный критерий, который необходимо соблюдать. Если у вас есть настоящий внутренний мотив заниматься наукой, то в большинстве случаев диссертация станет побочным, но естественным результатом работы. Если же всё подчинено только защите, легко потерять вкус к самому исследованию. 3. Используйте аспирантуру как лабораторию себя ✨ Аспирантура — редкий период, когда ошибки стоят дёшево. Экспериментируйте не только с методами, но и со своим стилем работы: как вы планируете, как пишете статьи, как преподаёте, как говорите об исследованиях. Всё это потом станет вашей «взрослой» научной техникой. Не отказывайтесь от новых ролей, даже если они кажутся «несоразмерными»: написать грантовую заявку, попробовать себя в рецензировании, выступить модератором. В аспирантуре это безопаснее всего: от вас ещё не ждут безупречности, а опыт, который вы получите, потом обернётся ощутимым преимуществом. 4. Первый человек, перед которым вы отчитываетесь, — это вы сами 🥰 Несмотря на то что аспирантура — это «всего лишь шаг», с этим шагом приходит и новая ответственность. У вас есть научный руководитель, но отношения с ним — это уже не система опеки, а скорее сотрудничество, в котором именно вы проявляете инициативу и отвечаете за движение вперёд. Речь не о том, чтобы игнорировать руководство, а о внутренней дисциплине: даже если вас никто не подталкивает, именно вы должны требовать от себя максимума. В конце концов, эта диссертация нужна прежде всего вам. 5. Срывайте плоды, которые висят низко 🦋 Не каждый исследовательский замысел подходит для диссертации. Не рискуйте брать темы, которые полностью зависят от чужих данных или оборудования, к которым у вас нет стабильного доступа; опираются на плохо отлаженные методы; настолько широки, что для них сложно сформулировать осязаемый результат. В аспирантуре у вас могут появиться собственные студенты, тема работ которых может пересекаться с вашей. Не делегируйте ключевые куски исследования им: это может сработать для не привязанных к дедлайнам аспирантуры совместных статей, но для диссертации критично, чтобы именно вы владели всей логикой проекта от начала до конца, а методы и результаты находились на кончиках пальцев. Хороший диссертационный замысел — это тот, который вы реально можете самостоятельно довести до конца в ограниченные сроки и без внешних «костылей».