Авторегрессионный причинный LM, созданный путем объединения двух точно настроенных Llama-2 70B в один. Пожалуйста, ознакомьтесь с квантованными форматами, предоставленными @TheBloke и @Panchovix: — GGUF (llama.cpp) — GPTQ (KoboldAI, TGW, Aphrodite) — AWQ (TGW, Aphrodite, vLLM) — Exllamav2 (TGW, KoboldAI) И Vicuna, и Alpaca будут работать, но из-за того, что начальный и конечный уровни принадлежат в основном Xwin, я ожидаю, что Vicuna будет работать с лучший. Благодарность достается @chargoddard за разработку структуры, используемой для объединения модели — mergekit. Особая благодарность @Undi95 за помощь с коэффициентами слияния.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: alpindale
Теги: llama, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 244 | Загрузок: 1,630
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
