Laguna-S-2.1-OptiQ-2bit
> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple...
> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple...
Суб-4-битное квантование EXL3 (QTIP решетки) orcarouter/GLM-5.3-Flash-Uncensored-FP8, аблитерированная тонкая настройка zai-org/GLM-5.3-Flash (glm5next / Glm5NextForConditionalGeneration`). Насколько нам известно, первый суб-4-битный...
Вы можете запустить его на графическом процессоре с памятью 11 ГБ, используя базовый метод квантования QuIP#, метод квантования...
Тензоры внимания 4-битные, потому что Mixtral повторно использует их для каждого эксперта — поэтому добавляется всего 0,4 ГБ,...