— Обновлены последние исправления предварительного токенизатора bpe https://github.com/ggerganov/llama.cpp/pull/6920 — квантования выполняются с использованием матрицы важности для уменьшения потерь при квантовании — кванты K и IQ практически во всех вариантах от Q6K до IQ1S — фиксированный конечный токен для режима инструкций ([128009]) — квантование с помощью коммита llama.cpp f4ab2a41476600a98067a9474ea8f9e6db41bcfa (основной от 29 апреля 2024 г.) — Imatrtix создан с использованием этого набора данных. Для новейших квантов, загруженных сюда, требуется как минимум коммит f4ab2a41476600a98067a9474ea8f9e6db41bcfa, он еще не интегрирован в большинство вышестоящих инструментов, поскольку был только что выпущен. (29-04-24) Llama 3 использует разные токены eos в зависимости от того, находится ли она в режиме инструкций. При первоначальной загрузке были некоторые проблемы с этим, поскольку он использовал токен eos «по умолчанию» 128001, но в режиме инструкций llama выводит только 128009 как токен eos, что заставляет его работать без остановки. Я загрузил фиксированные кванты с идентификатором токена eos, установленным вручную на 128009. Это решает проблему для меня, но вы должны убедиться, что используете правильный шаблон чата, ~я рекомендую использовать этот PR~(он был объединен, только что использовался новейший мастер-файл llama.cpp), а затем запустить llama.cpp с —chat-template llama3. Если вы это сделаете…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: qwp4w3hyb
Теги: gguf, facebook, meta, llama, llama-3, llama.cpp, imatrix, importance matrix
Лайков: 6 | Загрузок: 806
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
