Quantized Meta AI’s LLaMA in 4bit with the help of GPTQ algorithm v2. GPTQ implementation — https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/49efe0b67db4b40eac2ae963819ebc055da64074
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sardukar
Теги: llama, endpoints_compatible
Лайков: 3 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
BLOOM LM — 8-битная BigScience Большая многоязычная языковая модель открытого доступа с открытым доступом — 8-битная карточка модели...
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: timdettmers Теги: llama, text-generation-inference, endpoints_compatibleЛайков: 57 | Загрузок: 817...
Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области...
Этот репозиторий содержит оптимизированные модели RKLLM (Language) для запуска Qwen3-4B-Instruct-2507 на NPU Rockchip RK3588. Команда Qwen для архитектуры...
