Branches: — main: measurement.json calculated at 2048 token calibration rows on PIPPA — 5.0bpw-h6: 5 decoder bits per weight, 6 head bits — ideal for 2x 24gb GPUs at 8192 context, or 1x 48gb GPU at 8192 context with CFG cache
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DS-Archive
Теги: llama, llama-2, en
Лайков: 2 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.