Загрузите локально в мой собственный блокнот LLM, который использует модули Oobabooga для загрузки моделей: https://github.com/ausboss/Local-LLM-Langchain. Затем вы можете добавить ячейки из этих других блокнотов для тестирования: https://github.com/gkamradt/langchain-tutorials. Этот LoRA совместим с любой 7B, 13B или 30B 4-битной квантованной моделью LLaMa, включая Квантованные преобразованные ячейки ggml. Вы должны запрашивать LoRA так же, как вы запрашиваете Alpaca или Alpacino: помните, что при меньших размерах параметров структура приглашения становится более важной. Одна и та же подсказка, сформулированная по-разному, может дать совершенно разные ответы. Рассмотрите возможность использования следующих суффиксов предложений для улучшения качества вывода: — «Продумайте это шаг за шагом» — «Давайте подумаем об этом логически» — «Объясните ваши рассуждения» — «Предоставьте подробности, подтверждающие ваш ответ» — «Сравните и сопоставьте свой ответ с альтернативами» — Исправление твита для 13B и 7B — модели меньшего размера кажутся чрезвычайно чувствительными к хэштегам в конце ответов на обучающие данные, особенно при более длительных интервалах
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ausboss
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 126 | Загрузок: 820
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
