Иматричное квантование Llama.cpp для mistralai/Codestral-22B-v0.1 (legraphista/Codestral-22B-v0.1-hf-FIM-fix) Обновления: — 31.05.2024: исправления отсутствующих токенов FIM модели. Если файл модели большой, он был разделен на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Согласно этому исследованию, оказывается, что низкие квантования — единственные, которые получают выгоду от входных данных imatrix (согласно результатам hellaswag). 1. Убедитесь, что у вас есть gguf-split — Чтобы получить gguf-split, перейдите по адресу https://github.com/ggerganov/llama.cpp/releases — Загрузите соответствующий zip-архив для вашей системы из последней версии — Разархивируйте архив, и вы сможете найти gguf-split 2. Найдите папку фрагментов GGUF (например: Codestral-22B-v0.1-hf.Q80) 3. Запустите gguf-split —merge Codestral-22B-v0.1-hf.Q80/Codestral-22B-v0.1-hf.Q80-00001-of-XXXXX.gguf Codestral-22B-v0.1-hf.Q80.gguf. Обязательно укажите gguf-split на первый фрагмент разделения.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: legraphista
Теги: gguf, code, quantized, GGUF, imatrix, quantization, imat, static
Лайков: 13 | Загрузок: 1,150
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
