POPA Recon💻 BONSAI 2 27B: 27 ярда в 6 гигах
💻 BONSAI 2 27B: 27 ярда в 6 гигах короче prismml выкатили Ternary Bonsai 2 27B. это не очередной qwen в q4, а ternary веса {-1, 0, +1}, файл PTQ1_0 на 5.95 GB. база Qwen3.8-27B, контекст до 262k, apache. заявляют 98.2% от fp16. по факту на 4060 8gb: генерация ~25 tok/s, промпт ~98 t/s. для 27b в ноуте вообще не стыдно важное: стоковые ollama / lm studio / llama.cpp эту хуйню не едят. типы PTQ1_0 и PQ2_0 только в форке PrismML, без него либо отказ, либо бред. что качать: 🔵 модель https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf файл Ternary-Bonsai-2-27B-PTQ1_0.gguf, он меньше и дл…
The excerpt is quoted from a public Telegram channel, which owns its text.