Это иматричное квантование MXFP4_MOE модели NVIDIA-Nemotron-3-Nano-30B-A3B, основанное на иматрице от unsloth. Также см. инструкции здесь: Unsloth NVIDIA Nemotron 3 Nano — Руководство по запуску
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: noctrex
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 17 | Загрузок: 312
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Это модель на основе Llama 2, состоящая из Nous Hermes Llama 2 13b (https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b), объединенной с Кимико Лорой...
Это официальная модель КПП Asclepius-Llama2-7B (arxiv). Эта модель представляет собой усовершенствованную версию Asclepius-7B за счет замены базовой модели...
Эта модель была сегментирована с помощью torch.float16. Используйте приведенный ниже код, чтобы загрузить эту модель, настройте device_map для...
Llama-2-13b-chat-norwegian — это вариант модели чата Llama 2 13b компании Meta, настроенной на основе смеси норвежских наборов данных,...
