anon8231489123/gpt4-x-alpaca-13b-native-4bit-128g

Набор данных находится здесь (инструкция): https://github.com/teknium1/GPTeacher Хорошо… Теперь две разные модели. Один сгенерирован в ветке Triton, другой сгенерирован в Cuda. Пока используйте Cuda, если ветка Triton не станет широко использоваться. CUDAVISIBLEDEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca —wbits 4 —true-sequential —groupsize 128 —save gpt-x-alpaca-13b-native-4bit-128g-cuda.pt Квантизировано при фиксации GPTQ-for-LLaMa 5955e9c67d9bfe8a8144ffbe853c2769f1e87cdd 4-битное квантование GPTQ: https://huggingface.co/chavinlo/gpt4-x-alpaca. Из-за этого на данный момент он кажется несовместимым с Oobabooga. Следите за обновлениями? CUDAVISIBLEDEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca —wbits 4 —true-sequential —act-order —groupsize 128 —save gpt-x-alpaca-13b-native-4bit-128g.pt

Модальности:
Генерация текста

Задача: Генерация текста
Автор: anon8231489123
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 729  |  Загрузок: 817

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.