Количество https://huggingface.co/junelee/wizard-vicuna-13b, протестированных на работе с Occam’s KoboldAI/GPTQ. Кто-то сделал квант Triton уже здесь, но он не будет работать с форком KoboldAI/GPTQ от Occam: https://huggingface.co/fbjr/wizard-vicuna-13b-4bit-128g Обратите внимание, что эта модель довольно сильно цензурирована (на мой взгляд) и предоставляет морализирующие ИИ ответы на подсказки, на которые Vicuna 1.1 не жалуется.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tsumeone
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.