Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. * 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Эта модель представляет собой статическую версию moloras (смесь нескольких LoRA), основанную на следующих 6 модулях LoRa на базе Mistral. — Intel/neural-chat-7b-v3-1 — migtissera/SynthIA-7B-v1.3 — jondurbin/airoboros-m-7b-3.1.2 — bhenrym14/mistral-7b-platypus-fp16 — teknium/CollectiveCognition-v1.1-Mistral-7B — uukuguy/speechless-mistral-dolphin-orca-platypus-samantha-7b Маршрутизатор смеси мульти-лоров позволяет автоматически собирать модули LoRA, используя безградиентный подход для получения коэффициентов модулей LoRA и требуя всего несколько шагов вывода для невидимых задач. Код: https://github.com/uukuguy/multi_loras?tab=readme-ov-file#mixture-of-multi-loras
Модальности:
Генерация текста
Задача: Генерация текста
Автор: uukuguy
Теги: gguf, mistral, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 123
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
