Полезное: нашли утилиту, которая сама смотрит на ваше железо и говорит, какие модели имеет смысл запускать.
llmfit анализирует CPU, RAM и GPU, а потом подбирает модели, которые будут нормально работать. База реально большая — в ней уже 200+ моделей. Плюс утилита предлагает подходящую квантизацию под вашу память, прикидывает скорость (токены/с), ранжирует варианты.
Незаменимая вещь 🤓
@xor_journal
🔥
60
👍
15
❤
12
😁
1
🤣
1
🗿
1