Модель, настроенная с точностью до 4 бит с использованием QLoRA на timdettmers/openassistant-guanaco и сегментированная для использования в бесплатном экземпляре Google Colab. Его можно легко импортировать с помощью класса AutoModelForCausalLM из трансформеров:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: guardrail
Теги: llama, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.