Простые квантования cerebras/MiniMax-M2.5-REAP-139B-A10B с использованием параметров по умолчанию в llama-quantize. Ничего особенного
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tomngdev
Теги: gguf, endpoints_compatible, conversational
Лайков: 11 | Загрузок: 65
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Сначала опубликовано здесь: https://www.reddit.com/r/Oobabooga/comments/192qb2c/mermaidmistralaworkinprogressmodelfor_flow/ В полной точности он занимает чуть меньше 16 ГБ, вы можете попробовать его с помощью...
> Nexora-Vector-v0.1 GGUF — это официальная квантованная версия GGUF Nexora-Vector-v0.1, опубликованная Open4bits — официальным проектом квантования под управлением...
Исходная модель: https://huggingface.co/SicariusSicariiStuff/LLAMA-38BUnaligned_BETA Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
Проектирование архитектуры модели, ее предварительное обучение и оценка описаны в нашем препринте: «Семейство предварительно обученных языковых моделей трансформеров...
