Исходная модель: https://huggingface.co/deepseek-ai/DeepSeek-V3-0324. Запускайте их напрямую с помощью llama.cpp или любого другого проекта на основе llama.cpp. В конце концов я решил пройти через llama-quant.cpp и обновить некоторые типы тензоров, особенно для моделей MoE, поскольку они остались как есть со времен оригинального Mixtral. Эти изменения в целом придают типам немного больше логики, меняя несколько значений тут и там по всем направлениям. Эти изменения, по-видимому, оказывают общее положительное влияние на результаты. Они похожи на то, что сделал Unsloth, но имеют более общий (и, надеюсь, более удобный) способ. Загруженные веса V2 теперь являются окончательными, я удалю старые, если/когда мой PR будет объединен: https://github.com/ggml-org/llama.cpp/pull/12727 Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с встраиваниями и выходными весами, квантованными до Q8_0 вместо того, что обычно используется по умолчанию. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, выполните: Вы можете либо указать новый локальный каталог (deepseek-aiDeepSeek-V3-0324-Q80), либо загрузить их все на месте (./). Раньше вы бы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 26 | Загрузок: 1,068
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
