Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Это 4-битный 128-граммовый GPTQ gpt4-alpaca-lora-13b от Chansung. 1. Откройте вкладку Модель. 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/gpt4-alpaca-lora-13B-GPTQ-4bit-128g. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Нажмите значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 6. В раскрывающемся списке «Модель» выберите только что загруженную модель, gpt4-alpaca-lora-13B-GPTQ-4bit-128g. 7. Если вы видите ошибку справа внизу, не обращайте на нее внимания – это временно. 8. Проверьте правильность параметров GPTQ справа: Биты = 4, Размер группы = 128, Тип модели = Лама 9. Нажмите Сохранить настройки для этой модели вверху справа. 10. Нажмите «Обновить модель» в правом верхнем углу. 11. Как только появится сообщение о загрузке, перейдите на вкладку «Генерация текста»** и введите приглашение! Команда для клонирования последнего репозитория Triton GPTQ-for-LLaMa для вывода с использованием llamainference.py или в text-generation-webui`: существует также файл no-act-order.safetensors, который будет работать с форком GPTQ-for-LLaMa от oobabooga; для этого не требуется последняя версия…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, alpaca, chat, gpt4, text2text-generation, en, text-generation-inference, 4-bit
Лайков: 20 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
