UPD (20.02.2024). Мы применили глобальную точную настройку поверх квантованной модели и улучшили результаты по сравнению с первой версией. Чтобы узнать больше о выводе, а также о том, как самостоятельно квантовать модели, обратитесь к официальному репозиторию GitHub.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ISTA-DASLab
Теги: llama, text-generation-inference, endpoints_compatible, aqlm
Лайков: 5 | Загрузок: 109
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.