Низкоразрядное квантование модели Meta Llama 3.1 405B Instruct. Квантуется из олламы q4_0 GGUF. Для более высокого качества квантования (q4+) см. nisten/meta-405b-instruct-cpu-optimized-gguf. Что касается токенизатора smaug-bpe, то это не имеет значения (они идентичны). Однако, если у вас есть сомнения, вы можете использовать следующую команду для установки токенизатора llama-bpe:
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: leafspark
Теги: ggml, gguf, llama3, en
Лайков: 21 | Загрузок: 57
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
