Телеграм канал 'NN for Science'

NN for Science


1'486 подписчиков
831 просмотров на пост

Канал о новинках из области машинного обучения, с прицелом на использовании в науке. By @crimeacs

Детальная рекламная статистика будет доступна после прохождения простой процедуры регистрации


Что это дает?
  • Детальная аналитика 271'118 каналов
  • Доступ к 124'433'789 рекламных постов
  • Поиск по 492'928'866 постам
  • Отдача с каждой купленной рекламы
  • Графики динамики изменения показателей канала
  • Где и как размещался канал
  • Детальная статистика по подпискам и отпискам
Telemetr.me

Telemetr.me Подписаться

Аналитика телеграм-каналов - обновления инструмента, новости рынка.

Найдено 312 постов

This is Heloween

На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃

💻 Colab

#gan #text2image #CLIP
Изображение
ByteTrack 👀

Многообъектное отслеживание (MOT) работает путём определения границ и идентификации объектов в видео. Большинство методов определяют один и тот же ли это объект на разных кадрах путем объединения блоков обнаружения, чьи оценки превышают пороговое значение. Объекты с низкой оценкой обнаружения, например, перекрытые объекты, просто отбрасываются, что приводит к пропуску истинных объектов и фрагментации траекторий.

В статье, авторы объясняют, что так делать не надо, а надо брать объекты с вообще всеми оценками, а потом их перевешивать.

📎 Статья
🖥 Код
🤩 Онлайн-демо

P.S.: демка работает только с фото, но на гитхабе код норм для видео.

#video #tracking #demo
Видео/гифка, 32 сек, video.mp4
Я тут делаю курс по машинному обучению для науки. Поделитесь в комментариях, какие на ваш взгляд самые бомбические применения ML в науке? Желательно те, которые существуют уже, но можно и те, которые в разработке.
Видео/гифка, 3 сек, video.mp4
CLOOB: Modern Hopfield Networks with InfoLOOB Outperform CLIP

За 2021 год, мы увидели множество прорывов в области self-supervised learning (это когда человек вообще не размечал данные). Одним из таких прорывов был CLIP, который умеет соотносить между собой текст и картинки (предвестник безумного ML-арта).

У CLIP есть проблема - иногда он «срезает» углы и предсказывает что-то, на основании ложных признаков (как в истории про умную лошадь по имени Ганс, которая «умела» в математику). Эту проблему можно решить с помощью сетей Хопфилда, которые служат в качестве ассоциативной системы памяти.

Что подводит нас собственно к CLOOB (Contrastive Leave One Out Boost)- новому методу self-supervised обучения, в котором сети Хопфилда повышают эффективность обучения. CLOOB преодолевает проблему срезания «углов», характерную для CLIP с помощью замены признаков входной картинки/текста на признаки, которые извлекаются из сети Хопфилда.

🔭 Блог-пост
📎 Статья
🖥 Код

#multimodal #text #image #hopfield
Изображение
НейроМЕРЧ 🎨

Я, совместно с брендом украшений MONOLAMA, выпустил коллекцию брошек сгенерированных нейросетью VQGAN+CLIP.

Подробнее о проекте почитать можно тут, а заказать себе брошку href='https://monolama.com/neuro' target='_blank'>тут.

#этополюбви
Видео/гифка, 18 сек, IMG_2129.MP4
This is Halloween 🎃

В Colabе появился специальный праздничный режим. Доступно из панели Инструменты -> настройка -> Другое
Изображение
Multi-label Classification with Partial Annotations using Class-aware Selective Loss

Большие датасеты для классификации с несколькими метками (multi-label classification) аннотированы лишь частично. То есть, для каждой выборки аннотируется только небольшое подмножество меток, и это плохо.

Что можно сделать? Неаннотированные метки можно обрабатывать выборочно в соответствии с распределением классов в датасете в целом и вероятностью конкретной метки для текущего батча.

📎 Статья
🖥 Код

#training #classification
Изображение
О вулканах и людях

Меня сегодня упомянули в подкасте @ofvolcanoesandmen (классная отсылка на исландский фильм Of Horses and Men).

Мой добрый товарищ Кирилл говорил о геологии, геохимии, о том как и зачем искать метеориты, и нужно ли учить исследователей методам машинного обучения.

🍏 Apple Podcast
🤖 Google Podcast

#этополюбви
Изображение
The Cocktail Fork Problem:‌‌‌‌
Three-Stem Audio Separation for Real-World Soundtracks


Проблема коктейльной вечеринки (как разделить речь нескольких, говорящих одновременно, людей на разные дорожки) уже давно вдохновляет исследования по разделению источников звука (source separation). Недавние усилия в основном были направлены на отделение речи от шума, речи от речи, музыкальных инструментов друг от друга или звуковых событий друг от друга.

Однако разделение аудио смеси (например, звуковой дорожки фильма) на три широкие категории: речь, музыка и звуковые эффекты (под которыми здесь понимается шум окружающей среды и естественные звуковые события) осталось практически неисследованным, несмотря на широкий спектр потенциальных применений.

И конечно же, именно такую сеть сделали и описали в статье. Пиратский дубляж ликует!

📎 Статья
📽 Проект

#sound #audio #signals
Видео/гифка, 30 сек, trim.mp4
Предсказание формулы в Google Sheets

Сотни миллионов людей пользуются электронными таблицами, и формулы в этих таблицах позволяют пользователям выполнять сложный анализ и преобразования данных. Хотя языки формул проще, чем языки программирования, написание этих формул все равно может быть утомительным и чреватым ошибками, особенно для не очень опытных пользователей.

В статье, Google описывает новую модель, которая учится автоматически генерировать формулы на основе богатого контекста вокруг целевой ячейки. Когда пользователь начинает писать формулу со знаком "=" система генерирует возможные релевантные формулы для этой ячейки, изучая шаблоны формул в исторических электронных таблицах. Модель использует данные, присутствующие в соседних строках и столбцах целевой ячейки, а также строку заголовка в качестве контекста.

Функция, основанная на этой модели, теперь общедоступна для пользователей Google Sheets.

🔭Блог-пост
Видео/гифка, 13 сек, video.mp4
WeightWatcher (WW) - это диагностический инструмент с открытым исходным кодом для анализа глубоких нейронных сетей (DNN), не требующий доступа к обучающим или даже тестовым данным. Он может быть использован для:

* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей

И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.

🖥 Код

#training #inference #theory
Изображение
SSAST: Self-Supervised Audio Spectrogram Transformer

Вообще стараюсь не писать про статьи без кода, но тут прям круг замкнулся. Следите за руками. Сначала придумали DL для картинок, потом попробовали применять этот картиночный DL к сигналам, поняли что что-то не так. Придумали использовать его на спектрограммах (2х мерное представление звука) - заработало. Потом придумали трансформеры, что бы работать непосредственно с time-series. Класс, все работает. Но! Потом придумали трансформеры для картинок (Visual Transformers - ViT), а теперь их же используют для спектрограмм. У меня все.

📎Статья

#transformer #signal #sound
Изображение
How Underspecification Presents Challenges for Machine Learning

Модели машинного обучения (ML), при использовании в реальных областях, часто демонстрируют неожиданное поведение. Например, модели компьютерного зрения могут проявлять удивительную чувствительность к нерелевантным характеристикам, а модели обработки естественного языка могут непредсказуемо зависеть от демографических корреляций, не указанных непосредственно в тексте. Некоторые причины этих неудач хорошо известны: например, обучение ML-моделей на плохо обработанных данных. Некоторые - только изучаются.

В статье, авторы из Google, показывают, что предсказание на реальных данных проваливается из-за недоопределения. Идея недоопределения заключается в том, что хотя модели ML тестируются на проверенных данных, этой проверки часто недостаточно, чтобы гарантировать, что модели будут иметь четко определенное поведение, когда они используются в новых условиях.

Блог-пост

#training #inference
Изображение
Естественно РНФовские сммщики не умеют ставить прямые ссылки, но тем не менее, рад для разнообразия написать и про российских ученых (я имею ввиду тех, которые работают в России).

Искусственный интеллект уже способен решать абсолютно разные задачи: от написания новостей до управления автомобилем. Что же нас ждет в будущем? Исследователи не останавливаются на достигнутом и используют искусственный интеллект в экспериментах на Большом адронном коллайдере для поиска физических законов, не входящих в Стандартную модель физики частиц.

О технологиях искусственного интеллекта, которые позволяют обрабатывать физические данные, симулировать события и происходящее на микроуровне, и даже планировать будущие эксперименты, расскажет Денис Деркач, PhD, доцент, старший научный сотрудник Лаборатории методов анализа больших данных Высшая школа экономики, победитель Президентской программы Российского научного фонда.

Какая досада, что уже прошло и я даже не глянул.
Изображение
💸 DeepMind приобрела компанию MuJoCo, разрабатывающую симулятор среды для обучения роботов и расчета физики их движений.

Компания намерена использовать платформу в качестве виртуального полигона для моделирования различных процессоров.

🌐 DeepMind также сделала симулятор бесплатным и общедоступным.

#DeepMind
Видео/гифка, 6 сек, FB_aVvfXEAMGwep.mp4
Машинное обучение для гамма-излучения в центре галактики 🌌

Природа гамма-излучения Ферми в галактическом центре (GCE) до сих пор остается загадкой. Хотя избыток в целом совместим с излучением, ожидаемым из-за аннигиляции темной материи, объяснение в терминах, например, миллисекундных пульсаров, остается жизнеспособным.

Авторы используют методы оценки плотности с использованием нормализующих потоков, чтобы охарактеризовать вклад моделируемых компонентов (что именно выдаёт излишки гамма-излучения).

По сравнению с традиционными методами, основанными на статистическом распределении числа фотонов, их метод, основанный на машинном обучении, способен использовать больше информации, содержащейся в модели излучения Галактического центра, и, в частности, может выполнять апостериорную оценку параметров с учетом пространственных корреляций между пикселями на карте гамма-излучения. Это делает метод заметно более устойчивым к некоторым формам неправильной спецификации модели.

Статья
Код

#ScientificML #physics #flows
Изображение
Machine Learning Application for the Event Horizon Telescope 🔭

Продолжается серия увлекательных докладов Physics meets ML.
Доклад (20ого октября) можно послушать тут.

#ScientificML #meetings
Изображение
StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio
Видео/гифка, 30 сек, download (15).mp4
Вертикальный вывод в Colab

Colab продолжает по тихому вводить новые крутые штуки. Сегодня узнал, что вывод можно делать не после ячейки, а параллельно ей. Очень удобно.

Что бы так сделать, надо в начало ячейки вставить:

#@title Название {vertical-output: true}


#Colab #tricks
Видео/гифка, 8 сек, Screen Recording 2021-10-17 at 11.50.48.mp4
Denis Sexy IT 🤖
: 34612 | на пост: 11787 | ER: 34.1%
Публикации Упоминания Аналитика
Вот вам музыкальные котики от SG3 (самое прикольное, что работает в режиме реального времени – 25 кадров у секунду)

Автор
Видео/гифка, 45 сек, IMG_7666.MP4

Найдено 312 постов