Чат 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода графического процессора * Неколичественная модель fp16 в формате pytorch, для вывода графического процессора и для дальнейших преобразований Предоставляется несколько параметров квантования, чтобы вы могли выбрать лучший для вашего оборудования и требований. Каждый отдельный квант находится в отдельной ветви. Ниже приведены инструкции по загрузке из разных ветвей. — In text-generation-webui, you can add :branch to the end of the download name, eg TheBloke/WizardLM-13B-V1.1-GPTQ:gptq-4bit-32g-actorderTrue` — With Git, you can clone a branch with: — In Python Transformers code, the branch is the revision parameter; see below. Please make sure you’re using the latest version of text-generation-webui. It is…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 4bit
Теги: llama
Лайков: 3 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
