Кванты от @phymbert (автора поддержки этой модели в llama.cpp) размещены здесь. Кванты здесь предназначены для проверки квантованных весов иматрицы. Если вы используете металл, вам может понадобиться этот PR. Добавлен ggml-dbrx-instruct-16x12b-f16imatrix-wiki.dat, который представляет собой 2 тыс. пакетов (1 млн токенов) для весов FP16 с использованием wiki.train.** 13 апреля 2024 г.: Поддержка этой модели только что была объединена — PR № 6515. Для запуска этой модели вам понадобится этот коммит llama.cpp 4bd0f93e. Кванты в этом репозитории проверяются с помощью следующей команды (кванты под IQ3 пока очень чувствительны и ненадежны — может потребоваться обучение imatrix на весах FP16, а не на Q8_0, и для длиннее 200 фрагментов): Кванты матрицы важности GGUF (imatrix) для https://huggingface.co/databricks/dbrx-instruct Матрица важности обучается для ~ 100 тыс. токенов (200 пакетов по 512 токенов) с использованием wiki.train.raw. Какой GGUF мне подойдет? (из Artefact2) — ось X — это размер файла, а ось Y — недоумение (меньше недоумения — лучшее качество). Иматрица также используется для K-квантов (только для < Q6K). Вы можете объединить GGUF с помощью gguf-split —merge, хотя это не требуется, начиная с f482bb2e. Что такое матрица важности (иматрица)? Ты…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dranger003
Теги: gguf, endpoints_compatible, conversational
Лайков: 19 | Загрузок: 518
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
