Полезное: принесли гайд для тех, кто гоняет локальные LLM 🤓
Автор собрал в одну статью почти всё, что нужно для оптимизации и ускорения моделек. Внутри: выбор железа, работа с VRAM, квантизация, настройка llama.cpp, MoE-модели, KV-кэш и десятки практических советов по локальному запуску нейросетей.
Обычные инвайты на ивенты — в прошлом. Организаторы одной крупной ML-конфы решили, что присылать стандартные приглашения очень скучно, и зашили послание прямо в скрипт 😂
python3 -c "
import base64, time, sys
cap = '\n\n⠀⠀⠀⠀⠀⢀⣤⣴⣶⣶⣿⣿⣦⣤⡄⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀\n⠀⠀⠀⢀⣼⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣷⣦⡀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀\n⠀⠀⢀⣿⠟⠉⠉⠉⠙⠛⠿⠟⠋⠉⠉⠉⠙⢿⡄⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀\n⠀⣠⢼⡇⠀⠀⠀⣀⡀⠀⠀⠀⠀⣀⡀⠀⠀⠈⣷⣤⡀⠀⠀⠀⠀⠀⠀⠀⠀⠀\n⣼⠁⠸⣇⠀⠀⢸⣿⣷⠀⠀⠀⢸⣿⣿⠀⠀⢠⡟⠀⢻⠀⠀⣀⣀⣀⣀⠀⠀⠀\n⠸⣦⣰⣿⣦⡀⠈⠉⠁⢠⡀⣄⠀⠉⠁⢀⣠⣿⣧⣠⠞⢠⣿⠟⠛⠛⠻⣿⣆⠀\n⠀⠀⢹⣿⣿⡏⠀⠀⠀⠀⠀⠀⠀⠀⠀⠘⣿⣿⡿⠁⠀⣿⣏⠀⣸⣷⠀⠸⣿⡆\n⠀⠀⠀⠹⣿⣇⠀⠛⠿⢿⣿⣿⠿⠟⠀⢠⣿⣿⣧⣄⠀⠘⠿⣿⠿⠋⠀⠀⣿⣇\n⠀⠀⠀⠀⠈⠛⠷⢄⣀⠀⠀⠀⢀⣀⣴⣿⣿⣿⣿⣿⣷⡄⠀⠀⠀⠀⠀⠀⣹⣿\n⠀⠀⠀⠀⠀⠀⠀⢀⣿⣿⣿⡿⢁⡀⠀⠙⠿⣿⣿⣿⣿⣿⣆⠀⠀⠀⠀⠀⣿⡏\n⠀⠀⠀⠀⠀⠀⠀⣾⣿⣿⡟⣵⣿⣿⣷⣦⠀⠹⣿⣿⣿⣿⣿⡆⠀⠀⠀⢀⣿⡇\n⠀⠀⠀⠀⠀⠀⢸⣿⣿⡟⢰⣿⣿⣿⣿⣿⣷⡀⣿⣿⣿⣿⣿⣇⠀⠀⠀⣸⣿⠁\n⠀⠀⠀⠀⠀⢀⣿⣿⡟⠀⢸⣿⣿⡿⣿⣿⣿⣷⢸⣿⣿⣿⣿⡿⠀⠀⢠⣿⠇⠀\n⠀⠀⠀⠀⠀⠘⢿⡟⠀⠀⢸⠿⢿⠈⣿⣿⣿⣿⣿⣿⣿⣿⣿⣧⣤⣴⡿⠋⠀⠀\n⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠙⠿⠿⣿⣿⠿⠿⠟⠉⠉⠋⠉⠀⠀⠀⠀\n > Обнаружен зашифрованный пакет...'
print(cap)
time.sleep(1)
sys.stdout.write(' > Декодирование')
sys.stdout.flush()
for _ in range(5):
time.sleep(0.4)
sys.stdout.write('.')
sys.stdout.flush()
Baidu выложила в открытый доступ Unlimited-OCR — модель, которая может обрабатывать сотни страниц за один раз! 😨
У модели всего 3B параметров, но она SOTA на бенчмарке OmniDocBench — тут она выбивает 93%, обгоняя DeepSeek-OCR. И да, модель сохраняет стабильную скорость работы и не теряет контекст даже на очень больших PDF-файлах.
ByteDance сегодня анонсировала Seedance 2.5 — новый флагман в генерации видео 😳
Модель сможет создавать ролики длиной до 30 секунд и использовать до 50 референсов одновременно — так что контроль над сценой и композицией вам обеспечен. Если же что-то пошло не по плану — можно будет точечно вносить изменения в нужном кадре.
Релиз лучшей модели для генерации видео обещают уже в июле. Выглядит эпично 🤤