Метка: 2-bit - Страница 3 - Каталог нейросетей

Метка: 2-bit

Генерация текста

inferencerlabs/Bonsai-8B-MLX-Q2

— Единый вывод ~106 токенов/с @ 1000 токенов (измеряется в режиме отладки) — Использование памяти: ~2,35 гиБ 2,25bpw...