Это квантованная версия EssentialAI/RnJ-1-Instruct FP8, созданная с использованием llmcompressor (Neural Magic). Ключевые преимущества: — Размер модели меньше на ~50 % (8 ГБ против 16 ГБ) — Собственный вывод FP8 на графических процессорах Ada Lovelace, Hopper и Blackwell — Развертывание одного потребительского графического процессора на картах емкостью более 12 ГБ (RTX 3060, RTX 4070 и т. д.) — Встроенная поддержка vLLM и SGLang — Минимальная потеря качества при динамическом квантовании FP8 RnJ-1-Instruct основан на Gemma3 Модель следования инструкциям с: — Высокая математическая производительность: GSM8K 87,19% (5 кадров) — Многодоменные знания: MMLU-Pro 44,45% — Эффективная архитектура: только 8B параметров, быстрый вывод — 32K Контекст: расширенное контекстное окно для документов Самый простой способ запустить эту модель. Никакой настройки не требуется — только Docker со средой выполнения NVIDIA. Это модель плотного трансформатора, основанная на архитектуре Gemma3: проверена 7 декабря 2025 г. на RTX PRO 6000 Blackwell (96 ГБ) с использованием lm-evaluation-harness с vLLM 0.12.0. RnJ-1 — это первая настроенная по инструкциям модель DoradusAI, основанная на архитектуре Google Gemma3. Ключевые особенности: — Хорошие математические и логические способности — Эффективный подсчет параметров 8B — Контекстное окно размером 32 КБ — Оптимизировано для выполнения инструкций Эта модель унаследовала лицензию Gemma от…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Doradus-AI
Теги: gemma3_text, gemma3, rnj, doradus, instruction-following, fp8, quantized, vllm
Лайков: 5 | Загрузок: 61,221
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
