lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF

Llama-3.2-Taiwan-3B-Instruct-GGUF 是 Llama-3.2-Taiwan-3B-Instruct 透過 llama.cpp 轉換之 .gguf Загрузите файл llama.cpp, Ollama, LM Studio.等推論工具中部署，適合本機端使用。 > ⚠️ 規格重點： > 本模型為 GGUF 量化版本，非原始fp16／bf16.繁中模型在端側部署時常受限於 GPU 記憶體；本模型對 Llama-3.2-Taiwan-3B-Instruct 進行 GGUF量化, 提供多種精度等級的權重檔, 方便使用者依硬體限制與品質需求選擇對應版本。請依不同 тег 選擇對映之原始非量化版本,最新 main 分支對映v2025.01.01；原始（非量化）模型介紹請參考 lianghsun/Llama-3.2-Taiwan-3B-Instruct。 核心特點 (ключевые характеристики) 1.多量化等級:提供Q4,Q5,Q6,Q8 等不同精度權重,方便依硬體選擇。 2. 本機可部署:適用於llama.cpp、Ollama、LM Studio 等推論工具，可在筆電 CPU／Apple Silicon 流暢執行。 3. 與母模型同步更新:每次Llama-3.2-Taiwan-3B-Instruct 釋出新版本時同步重新量化。 – Разработчик: Лян Сюнь Хуан – При финансовой поддержке: APMIC – Базовая модель: lianghsun/Llama-3.2-Taiwan-3B-Instruct – Тип модели: LlamaForCausalLM (GGUF) — Язык(и) (NLP): Традиционный китайский, английский (含其他多語) — Лицензия: llama3.2 — Репозиторий: lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF — Исходная модель: lianghsun/Llama-3.2-Taiwan-3B-Instruct 直接以ollama run 載入 GGUF 時可能出現「文不對題」現象，根因為預設 шаблон чата 不正確。本 шаблон репозитория 內含檔可解決此問題。如需自訂對話模板,請參考 Файл модели Ollama 文件。

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: lianghsun
Теги: llama.cpp, gguf, ROC, Taiwan, zh-tw, llama3.2, GGUF, quantization
Лайков: 10  |  Загрузок: 751

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.