tsumeone/wizard-vicuna-13b-4bit-128g-cuda - Каталог нейросетей
Генерация текста

tsumeone/wizard-vicuna-13b-4bit-128g-cuda

Добавлено:
tsumeone/wizard-vicuna-13b-4bit-128g-cuda

Количество https://huggingface.co/junelee/wizard-vicuna-13b, протестированных на работе с Occam’s KoboldAI/GPTQ. Кто-то сделал квант Triton уже здесь, но он не будет работать с форком KoboldAI/GPTQ от Occam: https://huggingface.co/fbjr/wizard-vicuna-13b-4bit-128g Обратите внимание, что эта модель довольно сильно цензурирована (на мой взгляд) и предоставляет морализирующие ИИ ответы на подсказки, на которые Vicuna 1.1 не жалуется.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: tsumeone
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 9

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.