Телеграм канал «Голубь Скиннера»

Foundation model как рабочий инструмент
#neuro #ai


Публикация: Wang, E. Y., Fahey, P. G., Ding, Z., Papadopoulos, S., Ponder, K., Weis, M. A., ... & Tolias, A. S. (2025). Foundation model of neural activity predicts response to new stimulus types. Nature, 640(8058), 470-477.

В предыдущем посте я писала, что большинство foundation models для ЭЭГ/МЭГ пока что застряли на уровне робкого технологического эксперимента. В этом же посте предлагаю рассмотреть пример качественно иной результативности использования таких моделей в нейронаучных исследованиях.

🤩В описываемом исследовании были собраны данные активности ~135000 нейронов 14 мышей. Мышам предъявляли естественные видеозаписи (динамичные сцены, близкие к реальному зрительному опыту) и регистрировали, как на них реагируют нейроны в разных зрительных областях коры. На этих данных авторы обучили единое обобщённое представление работы зрительной коры — так называемый foundation core. Данные от разных животных и разных областей коры объединялись, чтобы модель выучила не индивидуальные особенности конкретной мыши, а общие принципы зрительной обработки.

В модели представлены следующие модули:
1️⃣Перспектива: учитывает геометрию зрительного ввода. Положение глаз у мыши слегка меняется, и один и тот же стимул может проецироваться на сетчатку по-разному. Этот модуль пересчитывает изображение с экрана в то, что “видит” глаз в каждый момент времени.
2️⃣Модуляция: учитывает текущее состояние животного. Известно, что активность зрительной коры зависит не только от стимула, но и от поведения: движется ли мышь, расширен ли зрачок, в каком она состоянии бодрствования. Этот модуль вводит такие поведенческие факторы в модель.
3️⃣Ядро: динамический энкодер, который получает скорректированный зрительный сигнал и информацию о состоянии животного и преобразует их во внутренние представления. Именно здесь модель учится выделять устойчивые закономерности зрительной обработки, общие для разных животных и областей коры.
4️⃣Вывод: связывает общее представление с активностью конкретных нейронов. Для каждого нейрона обучается простой линейный слой, который переводит общее представление ядра в его индивидуальную динамику активности.

После обучения ядро модели фиксируется и используется как универсальная основа. При работе с новыми животными модель не переобучается целиком: подстраиваются только индивидуальные компоненты, отвечающие за конкретные нейроны.

Результаты следующие:
💫Модель обучается только на натуральных видео, но корректно предсказывает, как нейроны зрительной коры будут реагировать на совершенно другие типы стимулов: движущиеся точки, решётки Габора, шумовые паттерны и статические изображения. Она корректно воспроизводит классические нейрофизиологические характеристики нейронов: чувствительность к ориентации, направлению движения и пространственную избирательность.
💫При переносе на данные новой мыши foundation-подход оказывается значительно более экономным. Чтобы достичь той же точности предсказаний, что и модель, обучаемая с нуля под конкретное животное, ему требуется в 2–3 раза меньше объёма записей.
💫По внутренним параметрам модели, отвечающим за предсказание активности отдельных нейронов, можно восстанавливать их анатомические свойства — от принадлежности к зрительной области до типа клетки, морфологии дендритов и вероятных синаптических связей с другими нейронами. При этом модель обучалась только на функциональных данных и никогда не “видела” анатомию. Связь между функцией и структурой возникает как естественное следствие выученного представления работы зрительной коры.

🤩В итоге такая модель перестаёт быть просто инструментом для предсказания сигналов. Она позволяет проводить полноценные нейрофизиологические эксперименты in silico без реального предъявления стимулов животному. Классические протоколы (от подбора параметрических стимулов до оценки избирательности отдельных нейронов) можно реализовывать напрямую на модели, используя её как замену живому эксперименту там, где это допустимо.

Foundation models для ЭЭГ: затянувшийся пролог
#neuro #ai

Современные модели для анализа нейрофизиологических данных зачастую обучаются под конкретные задачи (напр., классификацию состояний или обнаружение событий в сигнале). Такой подход требует размеченных данных и жёстко привязывает модель к условиям записи. Из-за высокой вариабельности нейросигналов между людьми, протоколами и оборудованием такие модели плохо переносятся на новые данные и часто теряют качество вне обучающего набора.

Foundation models предлагают другой порядок обучения. Сначала модель обучается на больших объёмах неразмеченных данных и учится строить представления сигнала, т. е. компактные внутренние описания, в которых сохраняются его устойчивые характеристики. Обычно это осуществляется через self-supervised подходы, в которых модель восстанавливает или предсказывает части самого сигнала. Такие представления слабо зависят от конкретной задачи и могут служить общей основой для дальнейшей донастройки при минимальной разметке.

До недавнего времени foundation models ЭЭГ развивались довольно однотипно. В большинстве работ это были универсальные энкодеры для многоканальных временных рядов, обученные на больших объёмах неразмеченных данных зачастую за счёт восстановления частей сигнала. В качестве архитектурной основы почти всегда использовались трансформеры, работающие с короткими временными сегментами ЭЭГ или МЭГ и их спектральными представлениями.

На практике у этой первой волны foundation models быстро проявились ограничения:
1. Недостаточная универсальность: модели проверялись на небольшом числе задач, часто на тех же датасетах, что использовались при предобучении;
2. Cлабая проверка переноса: работа с абсолютно другими данными и малым числом меток не осуществлялась полноценно;
3. Неочевидный эффект масштабирования: рост моделей и данных не давал стабильного выигрыша;
4. Контекст и пространственная структура учитывались слабо: анализ ограничивался короткими фрагментами сигнала;
5. Неубедительная “нейро”-специфичность: подходы, не разработанные специально для нейросигналов, часто показывали сопоставимые результаты.

Даже самые свежие foundation models наследуют те же ограничения. Тем не менее, появляются работы, которые пытаются адресовать отдельные практические проблемы. Так, новая модель REVE нацелена на снижение зависимости от конкретного расположения электродов и формата записи: она изначально обучается работать с разными конфигурациями датчиков и длиной сигналов, благодаря чему лучше переносится между датасетами и не требует тонкой подстройки под каждую новую задачу.

Другой показательный пример — SleepFM, которая расширяет идею foundation models за пределы одного сигнала и одной задачи. В этой модели используется мультимодальная полисомнография — совместно регистрируемая ЭЭГ, ЭКГ, дыхательные и мышечные сигналы, записанные за всю ночь сна. Модель обучается извлекать устойчивые характеристики сна как целостного физиологического процесса и затем используется не только для стандартных задач вроде выделения стадий сна или детекции апноэ, но и для прогноза широкого круга заболеваний — от сердечно-сосудистых до нейродегенеративных. И это — по одной ночи записи! Ключевое отличие этого исследования касается не архитектуры, а постановки задачи: сон рассматривается не как объект локальной физиологической разметки, а как характеристика общего состояния организма, и foundation model используется именно для такого уровня обобщения.

Дальнейший прогресс foundation models ЭЭГ упирается не столько в новые архитектуры, сколько в методологию. Важными следующими шагами являются реалистичная оценка переноса между данными, сравнение с существующими классическими моделями, понимание того, что именно кодируется в выученных представлениях и как это связано с физиологией и клиническими интерпретациями. Без этих шагов foundation models рискуют так и остаться технологическим экспериментом, а не рабочим инструментом нейронауки.

А следующий пост расскажет об успешном прецеденте использования foundation model в исследованиях зрительной коры мыши.