An ablation of OctoCoder released for research purposes. Generally use OctoCoder, which performs better. Steps: 80
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bigcode
Теги: gpt_bigcode, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 290
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
21.37 tok/s on one RTX 5090 32 GB with 128 GB RAM, using the recipe and patched llama.cpp...
> [!TIP] > Получить последнюю версию правил, посмотреть примеры ответов модели в чате или задать мне вопросы можно...
ONNX export for browser/local inference. Converted from Qwen/Qwen2.5-0.5B-Instruct at revision 7ae557604adf67be50417f59c2c2f167def9a775. No fine-tuning. — Task: text-generation-with-past — Precision:...
Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507. При этом квантовании используется ручная перекомпиляция для настройки битрейта отдельных тензоров в миксе, что вдохновлено...
