Если вы хотите по-прежнему использовать llama-30b, существует множество репозиториев/торрентов с обновленными весами. Это было преобразовано в int4 с помощью метода GPTQ. Дополнительную информацию смотрите в репозитории ниже. 1. Запустите вручную через GPTQ. 2. (Больше настроек, но лучший пользовательский интерфейс) – Используйте файл text-generation-webui. Прежде чем добавлять поддержку GPTQ, обязательно выполните шаги установки, описанные здесь. Обратите внимание, что недавнее изменение кода GPTQ нарушило функциональность GPTQ в целом, поэтому следуйте этим инструкциям, чтобы решить эту проблему! Поскольку это настройка инструкций, для достижения наилучших результатов используйте следующий формат вывода: Если вам нужны детерминированные результаты, отключите выборку. Вы можете отключить его в веб-интерфейсе, сняв галочку с dosample`. В режиме cai-chat вам не нужно использовать подсказки инструкций, а лучше создать персонажа и установить настройки сэмплера. Вот пример настроек, которые мне подходят: затем вы можете сохранить его как файл .txt в папке пресетов. Данные Данные, используемые для обучения модели, собираются из различных источников, в основном из Интернета. Таким образом, он содержит оскорбительный, вредный и предвзятый контент. Таким образом, мы ожидаем, что модель будет демонстрировать такие отклонения от обучающих данных. Жизнь человека Модель не предназначена для информирования…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: elinas
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
