PrimaMonarch-EroSumika-2×10.7B-128k
Экспериментальное MoE, идея состоит в том, чтобы иметь больше активных параметров, чем у модели 7xX, и сохранять ее...
Метка: moe
Buttercup-4x7B-V2-laser
Обработал все модели лазером, затем снова объединил. Надеюсь, это улучшение моей исходной модели. Конфиг выглядит так… (подробная версия...
Confinus-2x7B
Модель для проверки того, как МО будет прокладывать трассу без расширения площади. Масштаб модели является одним из наиболее...
FusionNet_7Bx2_MoE_v0.1
Доработанная модель на английском языке с использованием метода MoE. Улучшенная версия от FusionNet7Bx2MoE_14B. FusionNet7Bx2MoE_v0.1 — это модель для...
MoE_13B_DPO
Тренажер DPO с набором данных Intel/orcadpopairs для улучшения [yunconglong/TruthfulDPOtomGrcFusionNet7Bx2MoE_13B] Модальности:Генерация текста Задача: Генерация текста Автор: yunconglong Теги: mixtral,...
Umbra-v2.1-MoE-4×10.7
[Серия Umbra] является ответвлением [Серии Lumosia]. Ее цель — стать главным помощником, умеющим рассказывать истории, и RP/ERP Umbra...
Buttercup-4x7B-bf16
ФранкенМО не только использует гораздо лучшую методологию и фундаментальное понимание SMoE, но и полностью сосредоточено на интеллектуальной ролевой...
Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss_attn-4bit-moe-2bit-HQQ
Тензоры внимания 4-битные, потому что Mixtral повторно использует их для каждого эксперта — поэтому добавляется всего 0,4 ГБ,...
Open_Gpt4_8x7B_v0.2-GPTQ
Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области...
Beyonder-4x7B-v2-GPTQ
Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области...