Веса GGUF для Chroma Context-1, преобразованные для llama.cpp и любой среды выполнения, которая загружает GGUF (LM Studio, Ollama с совместимыми путями импорта, локальные серверы и т. д.). Этот репозиторий существует, поскольку исходная модель распространяется только в форме PyTorch/safetensors. Эти файлы имеют тот же вес в GGUF и имеют ряд предустановок квантования ламы, поэтому вы можете обменивать качество на VRAM и диск. Атрибуция: Все тензоры получены из chromadb/context-1. Этот репозиторий является преобразованием сообщества и не связан и не одобрен Chroma. Чтобы узнать о поведении, безопасности и использовании по назначению, сначала прочтите официальную карточку модели. Другие пресеты (IQ, TQ, Q2K, Q3K, Q6K, Q80, F16, …) могут появиться на вкладке «Файлы» по мере их публикации. Низкоразрядные и троичные форматы являются экспериментальными** по качеству; проанализируйте свою рабочую нагрузку, прежде чем полагаться на них. > Совет: Представление «Файлы и версии» в Hugging Face является авторитетным для того, что доступно в каждом коммите. Имена файлов следуют за chromadb-context-1-.gguf. — VRAM/RAM: модели MoE маршрутизируют только подмножество экспертов на каждый токен; по-прежнему рассматривайте опубликованные размеры как ориентир и отслеживайте пиковое использование при целевой длине контекста. — Длина контекста: Upstream поддерживает очень длинное контекстное окно;…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ryancook
Теги: gguf, llama.cpp, gpt-oss, chromadb, chroma, moe, quantized, en
Лайков: 6 | Загрузок: 126
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
