Данная модель представляет собой доработанную версию Meta-Llama-3.1-8B, разработанную ruslanmv для задач генерации текста. Он использует 4-разрядное квантование, что делает его более эффективным для вывода, сохраняя при этом высокую производительность в генерации естественного языка. Чтобы использовать эту модель, вам нужно будет установить необходимые библиотеки: Вот пример того, как загрузить эту точно настроенную модель с помощью библиотеки трансформаторов Hugging Face: — Генерация текста: Эта модель точно настроена для генерации согласованного и контекстуально точного текста на основе предоставленного ввода. Эта модель лицензирована под лицензией Apache 2.0. Вы можете свободно использовать, изменять и распространять эту модель при условии соблюдения условий лицензии. Эта модель была доработана ruslanmv на основе оригинальной работы unsloth и модели meta-llama-3.1-8b-bnb-4bit.
Модальности:
Генерация текста
Области применения:
Текст в SQL
Задача: Генерация текста
Автор: ruslanmv
Теги: llama, text-generation-inference, unsloth, trl, sft, en, it, endpoints_compatible
Лайков: 4 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
