Исходная модель https://huggingface.co/Undi95/Lewd-Sydney-20B Требуется ExllamaV2, который разрабатывается Turboderp https://github.com/turboderp/exllamav2 под лицензией MIT. Я мог загрузить карту 6bpw 24 ГБ без cfg Cash с контекстом 4096. 8bpw требовалось около 30 ГБ для загрузки в контексте 4096. Эта модель основана на Free Sydney V2, пытаюсь получить… более непристойного помощника, теперь вы его поняли. Этот репозиторий содержит файлы fp16 Lewd-Sydney-20B, попытку открыть наш любимый Сидней для контента R-18. — FreeSydneyV213bHF — Undi95/Xwin-MLewd-13B-V0.2 — лимонилия/LimaRP-Llama2-13B-v3-ЭКСПЕРИМЕНТ — Synthia v1.2 частная LoRA
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AzureBlack
Теги: llama, not-for-all-audiences, nsfw, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
