huggingface/falcon-40b-gptq

Точная копия https://huggingface.co/tiiuae/falcon-40b, но квантованная с помощью GPTQ (на wikitext-2, 4 бита, groupsize=128). Предназначен для использования с https://github.com/huggingface/text-generation-inference. Для полной настройки и использования вне докера см. https://github.com/huggingface/text-generation-inference.

Модальности:
Генерация текста

Задача: Генерация текста
Автор: huggingface
Теги: RefinedWeb, custom_code, text-generation-inference, endpoints_compatible
Лайков: 15  |  Загрузок: 27

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.