Модель, настроенная с точностью до 4 бит с использованием QLoRA на timdettmers/openassistant-guanaco и сегментированная для использования в бесплатном экземпляре Google Colab, который можно загрузить с 4 битами. Его можно легко импортировать с помощью класса AutoModelForCausalLM из трансформеров:
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: guardrail
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 207
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.