Пакет слоев GGUF для запуска диффузииgemma-26B-A4B-it-Q4KM в локальном кластере Mesh LLM. Этот пакет является производным от unsloth/diffusiongemma-26B-A4B-it-GGUF и сохраняет исходный дистрибутив GGUF, разделенный на послойные артефакты для распределенного вывода. — Локальный и частный вывод с помощью Mesh LLM. — Обслуживание нескольких компьютеров, когда полный GGUF слишком велик для одного хоста. — Рабочие процессы чата/завершения, совместимые с OpenAI, через локальный API Mesh LLM. Подробные сведения об архитектуре исходного кода, рекомендации по шаблонам чата, рекомендации по выборке, условия лицензии и примечания к тестированию см. в карточке исходной модели: unsloth/diffusiongemma-26B-A4B-it-GGUF. Создано сплиттером Mesh LLM HF Jobs из сетки-llm ref main. Для каждого артефакта проверяется контрольная сумма по мере его записи, загрузки в этот репозиторий и удаления из рабочей области задания перед созданием следующего артефакта. — Исходная модель: unsloth/diffusiongemma-26B-A4B-it-GGUF — Веб-сайт Mesh LLM: meshllm.cloud — Mesh LLM: github.com/Mesh-LLM/mesh-llm — Discord: discord.gg/rs6fmc63eN — Каталог пакетов: meshllm/catalog — Формат пакета: Layer-package-repos.md
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: meshllm
Теги: mesh-llm, gguf, layer-package, skippy, distributed-inference, local-inference, openai-compatible, endpoints_compatible
Лайков: 5 | Загрузок: 1,117
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
