Это версия модели GPTQ, совместимая с KoboldAI United (и наиболее подходящая для пользовательского интерфейса KoboldAI Lite). Если вы ищете версию модели, совместимую с Koboldcpp, проверьте Henk717/LLaMA2-13B-Tiefighter-GGUF Tiefighter — это объединенная модель, полученная путем слияния двух разных лор поверх хорошо зарекомендовавшего себя слияния. Для достижения этой цели был использован следующий рецепт: Мы начнем с базовой модели Undi95/Xwin-MLewd-13B-V0.2, которая является хорошо зарекомендовавшим себя объединением, вопреки названию, эта модель не имеет сильной предвзятости NSFW. Затем мы применили лору PocketDoc/Dans-RetroRodeo-13b, которая является тонкой настройкой наборов данных «Выбери свое собственное приключение» из нашей модели Skein. После применения этих знаний мы объединили новую модель с PocketDoc/Dans-RetroRodeo-13b на 5%, чтобы ослабить недавно появившийся приключенческий уклон. Полученное слияние было использовано в качестве новой базовой модели, к которой мы применили Blackroot/Llama-2-13B-Storywriter-LORA и повторили тот же трюк, на этот раз с 10%. Это означает, что эта модель содержит следующие ингредиенты из предыдущих моделей, насколько мы можем их отслеживать: — Undi95/Xwin-MLewd-13B-V0.2 — — Undi95/ReMM-S-Light — Undi95/CreativeEngine — Brouz/Slerpeno — -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: KoboldAI
Теги: llama, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 14 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
