Palmyra-Fin-70B-32K-GGUF
Исходная модель: https://huggingface.co/Writer/Palmyra-Fin-70B-32K Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
Исходная модель: https://huggingface.co/Writer/Palmyra-Fin-70B-32K Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
Иматричное квантование Llama.cpp Writer/Palmyra-Fin-70B-32K Исходная модель: Writer/Palmyra-Fin-70B-32K Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3504 Набор данных IMatrix:...