Квантованные модели GGUF, преобразованные из twinkle-ai/gemma-3-4B-T1-it для использования с llama.cpp. Gemma 3 4B T1 — это небольшая языковая модель, настроенная на наборы данных, ориентированные на Тайвань, поддерживающие как английский, так и традиционный китайский. Этот репозиторий предоставляет несколько форматов квантования, оптимизированных для различных вариантов использования. — Лучшее качество: Используйте версии BF16 или F16 (требуется больше памяти) — Сбалансированный: Используйте версию Q80 (рекомендуется для большинства пользователей) — Ограниченный ресурс: Используйте версию q4km `(подходит для устройств с ограниченной памятью) — -p «prompt»: Ваш входной текст для модели, чтобы ответить на -c 2048: Длина контекста (максимальное количество токенов, которые могут быть обработаны) — —hf-repo: Имя репозитория Hugging Face — —hf-file: Имя файла модели для использования — —temp: Температура (0.0-2.0), более высокие значения производят больше ra
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: twinkle-ai
Теги: gguf, Taiwan, SLM, GGUF, agent, en, zh, model-index
Лайков: 4 | Загрузок: 143
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
