Информация GPT4-X-Alpaca 30B 4-битная, работает с версиями GPTQ, используемыми в Webui для генерации текста Oobabooga и KoboldAI. Обновление 26.05.2023 Обновлены квантования ggml для совместимости с последней версией llamacpp (снова). GPTQ: 2 квантованные версии. Одна квантовала оптимизацию —true-sequential и порядок действий, а другая была квантована с использованием —true-sequential —groupsize 128 оптимизаций GGML: 3 квантованные версии. Один квантовался с использованием q41, другой был квантован с использованием q50, а последний был квантован с использованием q5_1. Использование GPU/GPTQ Для использования с графическим процессором с использованием GPTQ выберите один из .safetensor вместе со всеми файлами .json и .model. Oobabooga: Если вам нужны дополнительные инструкции, см. здесь и здесь KoboldAI: Если вам нужны дополнительные инструкции, см. здесь Использование ЦП/GGML Чтобы использовать ЦП с использованием GGML (Llamacpp), вам нужен только один файл .bin ggml. Oobabooga: Если вам нужны дополнительные инструкции, см. здесь KoboldAI: Если вам нужны дополнительные инструкции, см. здесь Параметры обучения numepochs=10cutofflen=512groupbylengthloratargetmodules='[qproj,kproj,vproj,oproj]’lorar=16microbatch_size=8
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MetaIX
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 163 | Загрузок: 857
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
