Точная настройка РАСШИРЕННОГО «LFM2-8B-A1B» до «LFM2-12B-A1B» (почти 50%, собственный сценарий) с использованием Unsloth с использованием пользовательских наборов данных, контекст 128 КБ с точностью до 16 бит. Расширяет базовую модель с 24 до 32 слоев и с 256 до 342 тензоров, чтобы дать модели больше знаний и интеллектуальных возможностей. Отличается творческой генерацией длинных форм. Очень умный. Это полная версия без цензуры (первая без цензуры, вторая обученная). Эта модель представляет собой редкую смесь модели экспертов (32) с 4 активированными экспертами. Скорость превышает 50-100 т/с на CPU // 200 т/с на большинстве карт // 400 т/с + на 5090 у QUANT Q6K [4 эксперта]. LFM2-12B-A1B-SpeedDemon-The-Deckard-II-ЕРЕТИК-Без цензуры bf16 0.469,0.612,0.782,0.676,0.412,0.743,0.610
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: lfm2_moe, finetune, unsloth, mixture of experts, sparse moe, moe, heretic, uncensored
Лайков: 8 | Загрузок: 157
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
