Квантование до 4 бит выполнено с помощью: https://github.com/turboderp/exllamav2
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TigerResearch
Теги: llama, endpoints_compatible
Лайков: 2 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.