Информация OpenAssistant-Llama-30B-4-bit работает с версиями GPTQ, используемыми в Webui для генерации текста Oobabooga и KoboldAI. Это было сделано с использованием встроенной функции Open Assistant для Llama 30b в их наборе данных. GPTQ: 2 квантованные версии. Одна квантовала оптимизацию —true-sequential и порядок действий, а другая была квантована с использованием —true-sequential —groupsize 128 оптимизаций GGML: 3 квантованные версии. Один квантовался с использованием q41, другой был квантован с использованием q50, а последний был квантован с использованием q5_1. Обновление 27.05.2023 Обновлены квантования ggml для совместимости с последней версией llamacpp (снова). Обновление 29.04.2023 Обновлено до последней тонкой настройки Open Assistant oasst-sft-7-llama-30b-xor. Использование GPU/GPTQ Для использования с графическим процессором с использованием GPTQ выберите один из .safetensor вместе со всеми файлами .json и .model. Oobabooga: Если вам нужны дополнительные инструкции, см. здесь и здесь KoboldAI: Если вам нужны дополнительные инструкции, см. здесь Использование ЦП/GGML Чтобы использовать ЦП с использованием GGML (Llamacpp), вам нужен только один файл .bin ggml. Убабуга: Если вам нужны дополнительные инструкции, см. здесь. KoboldAI: Если вам нужны дополнительные инструкции, см. здесь.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MetaIX
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 69 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
