Sdff-Ltba/LightChatAssistant-TypeB-2x7BをGGUF変換したものです。ファイル名にimatrixが付いているものはiMatrixを併用して量子化しています。 iMatrix作成用データとしてTFMC/imatrix-dataset-for-japanese-llmを使わせていただきました。 — 容量対精度に優れる: iQ4XS или Q4KM (製作者おすすめ) — ContextSizeを32768にしつつVRAMにフルロード: iQ3XXS — 精度重視: Q6K или Q8 — llama.cpp:複雑化する量子化バリエーションの整理(2024.02現在) — ローカルLLM自由帳「追記：KL-divergence による量子化評価」を参考にさせていただきました。 — llama.cpp: iMatrix量子化は日本語性能にどう影響するか？ — ローカルLLM自由帳iMatrix 作成に用いるデータを検証していらっしゃって、とても参考になります。また公開してくださった日英混合iMatrix用テキストを使用させていただきました。 — ЦП: Ryzen 5 5600X — Графический процессор: GeForce RTX 3060 12 ГБ — ОЗУ: DDR4-3200 96 ГБ — ОС: Windows 10 — программное обеспечение: Python 3.10.11, KoboldCpp v1.62.2 (デフォルトから変更したもののみ記載) — Слои графического процессора: 33 (33以上でフルロード) — Размер контекста: 32768
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Sdff-Ltba
Теги: gguf, mistral, mixtral, merge, moe, not-for-all-audiences, nsfw, ja
Лайков: 17 | Загрузок: 899
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
