4-битная версия GPTQ без актеров для совместимости, работающая в textgen-webui. Создано с использованием сценариев из https://gitee.com/yhyu13/llama_-tools. Дельта-веса: https://huggingface.co/FreedomIntelligence/chimera-inst-chat-13b-delta. Исходные веса hf: https://huggingface.co/Yhyu13/chimera-inst-chat-13b-hf. Это весьма впечатляет, поскольку его создатель объявил, что chimera-inst 13B набирает 97% баллов ChatGPT по оценке GPT-4. И я думаю, что у Химеры это хорошо получается.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Yhyu13
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 65
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.