Чат Предоставляются несколько вариантов параметров GPTQ. Подробную информацию о доступных вариантах, их параметрах и программном обеспечении, используемом для их создания, см. в разделе «Предоставляемые файлы» ниже. Модели AWQ для вывода на GPU. Модели GPTQ для инференса на GPU с несколькими вариантами параметров квантования. * Оригинальная неквантованная модель fp16 от Valiant Labs в формате Pytorch для вывода на GPU и дальнейших преобразований. Предоставляются несколько параметров квантования, чтобы вы могли выбрать оптимальный вариант для своего оборудования и требований. Каждый отдельный параметр квантования находится в отдельной ветке. Ниже приведены инструкции по получению данных из разных ветвей. Большинство файлов GPTQ созданы с помощью AutoGPTQ. В настоящее время модели Mistral создаются с помощью Transformers. — Биты: размер квантованной модели в битах. — GS: размер группы GPTQ. Более высокие значения требуют меньше видеопамяти, но обеспечивают меньшую точность квантования. «None» — это самый низкий уровень…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, shining-valiant, valiant, valiant-labs, llama-2, llama-2-chat, 70b, en
Лайков: 2 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.