Информация GPT4-X-Alpasta-30b работает с Webui для генерации текста Oobabooga и KoboldAI. Это попытка улучшить эффективность Open Assistant в качестве инструкции, сохранив при этом его превосходное содержание. Объединение состоит из GPT4-Alpaca Lora от Chansung и встроенной тонкой настройки Open Assistant. Обновление 27.05.2023 Обновлены квантования ggml для совместимости с последней версией llamacpp (снова). GPTQ: 2 квантованные версии. Один квантовал оптимизацию —true-sequential и порядок действий, а другой был квантован с использованием оптимизации —true-sequential —groupsize 128. GGML: 3 квантованные версии. Один квантовался с использованием q41, другой был квантован с использованием q50, а последний был квантован с использованием q5_1. Использование GPU/GPTQ Для использования с графическим процессором с использованием GPTQ выберите один из .safetensor вместе со всеми файлами .json и .model. Oobabooga: Если вам нужны дополнительные инструкции, см. здесь и здесь KoboldAI: Если вам нужны дополнительные инструкции, см. здесь Использование ЦП/GGML Чтобы использовать ЦП с использованием GGML (Llamacpp), вам нужен только один файл .bin ggml. Убабуга: Если вам нужны дополнительные инструкции, см. здесь. KoboldAI: Если вам нужны дополнительные инструкции, см. здесь.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MetaIX
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 68 | Загрузок: 819
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
