Использование comit 3c16fd9 из вилки GPTQ 0cc4m. Использование C4 в качестве набора калибровочных данных. Порядок действий, истинная последовательность, percdamp 0,1 (percdamp по умолчанию — 0,01). Нет размера группы. Будет работать с CUDA, не требует тритона. Quant завершила работу над Google Colab с графическим процессором премиум-класса и высокой памятью.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: askmyteapot
Теги: llama, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
