Официальное квантование AQLM мета-ламы/Meta-Llama-3.1-70B-Instruct, настроенное с помощью PV-Tuning. Для этого квантования мы использовали одну кодовую книгу из 16 бит и размер группы 8.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ISTA-DASLab
Теги: llama, aqlm, facebook, meta, llama-3, conversational, text-generation-inference, endpoints_compatible
Лайков: 45 | Загрузок: 133
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.