4-битная версия GPTQ без актеров для совместимости, которая работает в textgen-webui. Создано с использованием сценариев из https://gitee.com/yhyu13/llama_-tools. Исходный вес: https://huggingface.co/NousResearch/Nous-Hermes-13b.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Yhyu13
Теги: llama, endpoints_compatible
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.