DavidAU/LFM2-8B-A1B-GLM-4.7-Flash-Thinking-Quantum-IQ1C

Fine tune of «LFM2-8B-A1B» using Unsloth using custom dataset(s), 128k context in 16 bit precision. This model is a sparse mixture of experts model (32) with 4 experts activated. Speed exceeds 50-100 t/s on CPU // 200 t/s on most cards // 400 t/s + on 5090 at QUANT Q6K [4 experts]. LFM2-8B-A1B-GLM-4.7-Flash-Thinking-Quantum-IQ1C mxfp8 0.495,0.709,0.759,0.658,0.404,0.764,0.596

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: DavidAU
Теги: lfm2_moe, finetune, unsloth, mixture of experts, sparse moe, moe, heretic, uncensored
Лайков: 4  |  Загрузок: 97

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.