[ОБНОВЛЕНИЕ: попробуйте RWKV-4-World (https://huggingface.co/BlinkDL/rwkv-4-world) для генерации, общения и написания кода на более чем 100 мировых языках, а также с отличными английскими способностями к обучению с нуля и в контексте.] Это модели RWKV-4-Pile 1.5/3/7/14B, точно настроенные на Alpaca, CodeAlpaca, Guanaco, GPT4All, ShareGPT и многое другое. Даже модель 1.5B на удивление хороша для своих размеров. Демо-версия Gradio: https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B и https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio Вывод моделей RWKV: https://github.com/BlinkDL/ChatRWKV (быстрый CUDA). Модели Q8_0: только для https://github.com/saharNooby/rwkv.cpp (быстрый процессор). См. https://github.com/BlinkDL/RWKV-LM для получения подробной информации о языковой модели RWKV (100% RNN). Лучший формат подсказки для моделей Raven: Боб — пользователь, Алиса — бот (ПРИМЕЧАНИЕ: после последней «Алисы:» нет пробела). Вы можете использовать n внутри xxxxxxxxxxx, но избегайте nn. Новые модели будут называться Eng99%-Other1%, Eng86%-Chn10%-JpnEspKor2%-Other2% и т. д. Соотношение языков определяется количеством данных ChatGPT. Пожалуйста, поделитесь больше данными ChatGPT, чтобы увеличить долю вашего языка. Старые модели: RWKV-4-Raven-Eng: 99% английский + 1% Multilang RWKV-4-Raven-EngAndMore: 96% английский + 2% Chn Jpn + 2%…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 500 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
