Квантовано с https://huggingface.co/deepseek-ai/DeepSeek-V2-Chat. Использование llama.cpp b3026 для квантования. Учитывая быстрый выпуск сборок llama.cpp, ситуация, вероятно, со временем изменится. — Найдите соответствующий каталог — Загрузите все файлы — Запустите merge.py — Должен появиться объединенный GGUF Переопределения метаданных KV (передайте их с помощью —override-kv, можно указать несколько раз): — Лицензия DeepSeek для весов моделей, которую можно найти в файле LICENSE в корне этого репозитория — Лицензия MIT для любого кода репозитория Найдите imatrix.dat в корне этого репозитория, созданный с помощью кванта Q2K`, содержащего 62 фрагмента (см. здесь). информация: https://github.com/ggerganov/llama.cpp/issues/5153#issuecomment-1913185693) Используя groupsmerged.txt`, найдите его здесь: https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384 Эта модель немного подвергнута цензуре, возможна точная настройка на токсичный DPO помогите.
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: leafspark
Теги: gguf, code, deepseek, bf16, en, zh, endpoints_compatible, conversational
Лайков: 29 | Загрузок: 179
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
