Чтобы запустить эту модель, убедитесь, что для параметра compressposemb установлено значение 4, чтобы применить правильные параметры масштабирования веревки. Maxctxlen равен 16384. Ветви: — main: 4 бита, размер группы 128, порядок действий ложный — 4bit-32g-actorder: 4 бита, размер группы 32, порядок действий истинный
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kingbri
Теги: llama, en, endpoints_compatible
Лайков: 7 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.