Another EXL2 version of AlpinDale’s https://huggingface.co/alpindale/goliath-120b this one being at 2.64BPW. Assuming Windows overhead, the following figures should be more or less close enough for estimation of your own use.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LavaPlanet
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.