Это BASE-модели (предварительно обученные с использованием веб-кода/синтетических + инструкций/чата/рассуждений), подходящие для постобучения и точной настройки (проверьте https://huggingface.co/spaces/Jellyfish042/UncheatableEval, чтобы увидеть их эффективность при языковом моделировании). RWKV-7 pth => Сценарий GGUF: https://github.com/MollySophia/rwkv-mobile/blob/master/converter/convertrwkvpthtogguf.py GGUF: https://huggingface.co/collections/shoumenchougou/rwkv7-gxx-gguf Используйте пакет rwkv pip 0.8.32+ для RWKV-7 вывод: https://pypi.org/project/rwkv/ Проект эффективного вывода: https://github.com/BlinkDL/Albatross Приложение RWKV: https://github.com/RWKV-APP/RWKV_APP (локальный вывод на Android/iOS). Всегда используйте последние модели (с самой новой датой) (лучше во всем). Предложение по декодированию (примечание: это для RWKV pip pkg, который применяет temp после topp): В конце вашего ввода не должно быть пробела (поэтому удалите его), иначе вы расстроите токенизатор и увидите ответ на неанглийском языке. Подсказка чата (примечание: лучше замените все nn в USER_PROMPT на n, так как я использую nn в качестве «разделителя раундов чата» в данных предварительной подготовки): Подсказка FIM (для G1c и более новых моделей работает для текста, кода и всего остального): Примечание «✿» всегда будет преобразовано в единицу…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en, zh, fr, es, de, pt
Лайков: 166 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
