Aryanne/Basilisk-4B-gguf

GGML/GGUF(v2) Квантование модели: https://huggingface.co/winglian/basilisk-4b Это winglian/llama-2-4b, модель Llama-2 с параметром 4B, точно настроенная с использованием открытых данных CoT косаток. Я попытался выполнить последний коммит llama.cpp, но получил ошибку (GGML_ASSERT: llama.cpp:8136: false), затем я снова преобразовал модель в gguf, используя этот коммит llama.cpp. https://github.com/ggerganov/llama.cpp/tree/019ba1dcd0c7775a5ac0f7442634a330eb0173cc, похоже, теперь работает.

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Aryanne
Теги: gguf, llama, endpoints_compatible
Лайков: 11  |  Загрузок: 87

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.