K2-Chat-IMat-GGUF
Исходная модель: LLM360/K2-Chat Исходный тип dtype: FP16 (float16) Квантизация: llama.cpp b3051 Набор данных IMatrix: здесь — Файлы —...
Метка: quantized
calme-2.3-phi3-4b-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/calme-2.3-phi3-4b MaziyarPanahi/calme-2.3-phi3-4b-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/calme-2.3-phi3-4b. GGUF —...
Yi-1.5-34B-Chat-GGUF
— Создатель модели: 01-ai — Исходная модель: 01-ai/Yi-1.5-34B-Chat MaziyarPanahi/Yi-1.5-34B-Chat-GGUF содержит файлы модели формата GGUF для 01-ai/Yi-1.5-34B-Chat. GGUF —...
Llama-3-Smaug-8B-GGUF
— Создатель модели: abacusai — Исходная модель: abacusai/Llama-3-Smaug-8B MaziyarPanahi/Llama-3-Smaug-8B-GGUF содержит файлы моделей формата GGUF для abacusai/Llama-3-Smaug-8B. GGUF —...
Llama-3-13B-Instruct-v0.1-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Llama-3-13B-Instruct-v0.1 MaziyarPanahi/Llama-3-13B-Instruct-v0.1-GGUF содержит файлы модели формата GGUF для MaziyarPanahi/Llama-3-13B-Instruct-v0.1. Модальности:Генерация текста...
gemma-1.1-2b-it_oasst_format_chatML_unsloth_V1_function_calling_V2-GGUF
Файлы квантовой модели GGUF для gemma-1.1-2b-itoasstformatchatMLunslothV1functioncallingV2 от NickyNicky Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...
Yi-9B-200K-GGUF
MaziyarPanahi/Yi-9B-200K-GGUF содержит файлы моделей формата GGUF для 01-ai/Yi-9B-200K. Спасибо TheBloke за подготовку замечательного README о том, как использовать...
phi-2-super-GGUF
— Создатель модели: abacaj — Исходная модель: abacaj/phi-2-super MaziyarPanahi/phi-2-super-GGUF содержит файлы моделей формата GGUF для abacaj/phi-2-super. Спасибо TheBloke...
merlinite-7b-GGUF
MaziyarPanahi/merlinite-7b-GGUF содержит файлы моделей формата GGUF для IBM/merlinite-7b. Спасибо TheBloke за подготовку замечательного README о том, как использовать...
Eris_7B-GGUF-IQ-Imatrix
Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006/) Imatrix рассчитывается на основе...