Телеграм канал «EasyData»

Привет, друзья!
Насколько умной может быть нейросеть, которая целиком живёт во вкладке браузера? Благодаря технологии WebGPU это уже реально, и ребята из @faktosborka прогнали 10 таких моделей на одних и тех же заданиях - про результаты ниже!

🙂 Что такое WebGPU?
Это веб-стандарт, который даёт странице доступ к видеокарте не только для графики, но и для вычислений. Модель сжимают до 4 бит на вес, браузер один раз скачивает её в свой кэш - и дальше она работает без сервера и даже без интернета. Поддерживается в Chrome и Edge, в свежих Safari и частично в Firefox.

🙂 Эксперименты с малышами
Запустили 6 крошечных моделей, от 26 до 360 млн параметров:
• PetitGPT, 125M (2026) - энтузиаст обучил её с нуля на одной RTX 4090 (игровая видеокарта на 24 ГБ видеопамяти) на ~13 млрд токенов
• SmolLM2, 135M и 360M (Hugging Face, 2024) - обучены на 2 и 4 трлн токенов на кластере из 64 шт. H100 (по 80 ГБ). Потом их дообучили на примерах диалогов и на парах "хороший ответ / плохой ответ" (через SFT + DPO)
• L20-Edu, 135M (2026) - того же размера, что и предыдущая, но данных в ~150 раз меньше: ~13 млрд токенов на одной серверной видеокарте NVIDIA L20 (48 ГБ)
• MiniMind2, 104M и 26M (2025) - китайский учебный проект "LLM с нуля": младшую версию обучают за ~2 часа на одной игровой RTX 3090 (24 ГБ), аренда обходится в ~3 юаня
Все веса открыты, у большинства лицензия Apache-2.0.

🙂 Как тестировали и что получилось
Тестировали в MicroLLM Lab - это веб-страница, где можно запустить маленькие модели и сравнить их на одном наборе из 20 коротких заданий: назвать столицу Франции, сложить 2 + 2, повторить число 7391, ответить "да" или "нет"... Ответ до 48 токенов, запускали на Mac M5.
Результаты на картинке: лучше всех из малышей справились PetitGPT и SmolLM2-135M - 14 из 20. Старшая SmolLM2-360M набрала всего 6 очков и на "2 + 2" ответила: "as an AI, I'm unable to provide numerical answers"😁️️️️️️ MiniMind2 Small на тот же вопрос уверенно выдала "2 + 3 = 5", а старшая MiniMind2 перешла на китайский.

🙂 Модели потяжелее
Те же 20 заданий затем прогнали на моделях в 1-3 млрд параметров через библиотеку WebLLM - тоже прямо в браузере. Замерили ещё скорость генерации: сколько токенов в секунду выдаёт модель (для масштаба: человек читает примерно 5 токенов / сек).
• Qwen2.5 1.5B - 19 из 20, 44 токена/с
• Qwen2.5 3B - 19 из 20, 22 токена/с
• Gemma 2 2B - 18 из 20, 31 токен/с
• Llama 3.2 1B - 15 из 20, 63 токена/с
Малыши при этом в разы быстрее: например, MiniMind2 Small выдаёт 581 токен/с. А по деньгам токен тут не стоит ничего - всё считает ваша видеокарта, никаких API и подписок, только электричество.

🙂 Как запустить у себя?
Нужен свежий Chrome/Edge/Safari, видеокарта самая обычная: малыши шустро работают даже на GTX 1060 десятилетней давности.
1. Чтобы запустить "малышей", откройте stateofutopia.com/experiments/microllmlab и выберите модель вверху страницы - при первом запуске браузер скачает веса, и можно будет начинать работать.
2. Чтобы запустить модели посерьёзнее, зайдите на chat.webllm.ai, выберите нужную в списке и дождитесь загрузки (около 1 Гб). После этого чат сработает даже без интернета, данные запросов тоже никуда не уходят.
3. Можно встроить в свой проект: WebLLM ставится как обычная JS-библиотека и отвечает в формате OpenAI API - очень удобно, если хотите добавить локальный чат на свой сайт: github.com/mlc-ai/web-llm
4. А ещё SmolLM2 грузится в Colab через transformers в пару строк, а у MiniMind есть версия для llama.cpp и Ollama.

Судя по этому мини-тесту, порог "осмысленности" лежит где-то между 360 млн и 1,5 млрд параметров: малыши годятся для быстрых простых задач, модели на 1.5 млрд отвечают уже более уверенно. Но главное - всё это прямо в браузере и бесплатно, больше таких проверок в @faktosborka


#nlp@data_easy
#полезный_ии@data_easy

Привет, друзья!
Помните, разбирали Gemini Embedding 2 - мультимодальную модель, которая мапит текст, картинки, аудио и видео в единое пространство? На днях вышла её open-source сестра EmbeddingGemma 2 от Google, которую можно запустить локально! Разбираемся 🧐

🙂 Что это такое?
Это открытая мультимодальная эмбеддинг-модель: она кодирует текст, код, картинки, аудио и видео в одно общее 768-мерное пространство. То есть можно искать видеофрагмент голосовым запросом или рыться в часах аудио текстом - всё одной моделью.

Важно! У Google две ветки эмбеддингов:
• Gemini - большая и закрытая, доступна только по API
• Gemma - открытая, с весами под локальный запуск
Кстати, предыдущая версия EmbeddingGemma 1 умела только текст - а в новой дотащили мультимодальность до открытой локальной модели. В этом главная новость:)

🙂 Какие плюсы?
• Лицензия Apache 2.0 - значит, можно использовать для коммерческих целей. Веса лежат на Hugging Face и Kaggle, качаются свободно.
• 740M параметров суммарно, но загрузить можно только нужное (270M для текста, +170M для картинок, +300M для аудио).
• В квантизации текстовый режим ест ~191 МБ RAM, полный мультимодальный ~567 МБ. В целом, нормально запускается на CPU.
• В Colab заводится без проблем, реально запустить локально и даже на телефоне.
• Контекст 8K токенов (в 4 раза больше первой версии) - это до ~5.5 минут аудио, 29 картинок или 58 кадров видео за раз. Поддержка 100+ языков, в т.ч. русский.

🙂 Лайфхак с матрёшкой
Модель обучена через MRL (Matryoshka Representation Learning): вектор рождается 768-мерным, но его можно просто обрезать до 512/256/128, оставив первые координаты - информация сконцентрирована в начале. А это до 6x экономии места в векторной базе! По документации качество почти без потерь до 256, но лучше проверять на своих данных.

🙂 Почему берём именно её?
Открытые мультимодальные эмбеддеры были и до этого (jina-embeddings-v5-omni, Qwen3-VL-Embedding), но EmbeddingGemma 2 выигрывает сочетанием: Apache 2.0 без запретов на коммерцию, все 4 модальности и запуск на устройстве.
По замерам Google, она лучшая по соотношению качество/размер среди моделей до 1B параметров и местами обходит спецмодели вдвое крупнее.

🙂 Полезные ссылки
• Официальный анонс
• Страница в документации Google
• Карточка модели и веса на Hugging Face
• Веса на Kaggle
• Гайды по запуску и файнтюну

Мультимодальный поиск стал ещё доступнее! 🙂


#полезный_ии@data_easy

Привет, друзья!
Попалась любопытная книга для тех, кто готовится к интервью - "Machine Learning Interviews" от Susan Shu Chang. Автор - Principal Data Scientist в Elastic (это одна из самых высоких экспертных ролей выше senior), которая прошла процесс найма с обеих сторон📘

Главная особенность книги в том, что это не сборник вопросов, а разбор всего пути целиком: ОТ выбора роли в ML и составления резюме ДО оффера и первых месяцев на работе. Пособие не замыкается только на теории, а с практикой проводит через каждый этап: с разборами, чего ждать и как готовиться.

Что внутри по главам:
❤️ Как устроен процесс найма - разбор ML-ролей (ML Engineer, Applied Scientist, Data Scientist) и чем они отличаются. Полезно тем, кто ещё не определился, в какую сторону копать + есть глава про резюме и отклики, в т.ч. про системы, через которые работодатели автоматически фильтруют резюме по ключевым словам.
❤️ Технический блок - здесь всё необходимое: классический ML, NLP, CV, рекомендательные системы + в общем про обучение и оценку моделей.
❤️ Кодинг - рассказывают, как готовиться с нуля: Python, SQL, подход через LeetCode и даже готовые роадмапы ("4 недели для студента", "6 месяцев на смену карьеры").
❤️ Деплой и MLOps - весь цикл от модели до прода: деплой, мониторинг, облака, System Design.
❤️ Поведенческое интервью и международная специфика - целая глава про то, как отвечать на вопросы о себе и опыте: популярный метод STAR (схема ответа "ситуация - задача - действие - результат"), как быть, если релевантного опыта нет, и отдельные разборы, как готовиться под Amazon, Meta, Google и Netflix. А в конце про этап после интервью: как читать оффер, вести переговоры и пережить первые 30/60/90 дней.

Про плюсы и минусы:
➕ Широченный охват - один раз раскладывает по полочкам всю кухню ML-найма от резюме до оффера. Теоретическая база, материалы по кодингу и поведенческому интервью не устаревают.
➖ Книга конца 2023 года, и свежего LLM/GenAI тут нет:( RAG, агенты, prompt engineering, новшества в LLM тут не ищите. Трансформеры и GPT разобраны как классические алгоритмы, а не в контексте того, что сейчас спрашивают на LLM-ролях.

Словом, отличный вариант, если хочется один раз системно разобраться, как вообще устроен ML-найм.
PDF в оригинале на английском во вложении (перевода пока нет)🌿


#карьера@data_easy