首先在进入RWKV Runner的release界面 https://github.com/josStorer/RWKV-Runner/releases 点击 Файлы и версии, 再点击rwkv-5-h-world-1b5.pth Загрузите файл RWKV-Runnerwindowsx64.exe и загрузите модели rwkv-5-h-world-1b5.pth.如果你不知道该从何下手，可以尝试把喜欢的小说段落放在续写界面尝试，AI模型目前仍然不擅长超长的有逻辑的叙事，因此建议使用此模型用来描写短篇段落在精度上,int8会比fp16占用显存/内存更小，但是通常更慢。如果你的显卡过于陈旧以至于不支持fp16，请选择fp32。载入显存层数会调配显存和内存的占用,通常尽可能调大此参数使得显存占满。有关显存占用的估计: 1b5中的b指代的是миллиард, 十亿。所以1b5也就是十五亿。B Illion 是目前大语言模型常见的单位，1B=10^9, 而常见的KB МБ GB分别指代10^3,10^6,10^9字节(注意此时的B指代byte)。因此,当1.5B参数Размер int8 (8 элементов, 1 размер) и размер 1,5 ГБ, размер fp16, размер 3 ГБ.在续写界面右侧有Temperature Top_P Штраф за присутствие Частота Пенальти в игре, игра в футболе в футболе, игра в футбол, игра в футбол, игра в футбол, игра в футбол.简言之, 如果你觉得模型天马行空胡编乱造, 请调低Температура和TopP,如果模型过于保守,请提高Температура和TopP РВКВ Runner может быть установлен в RWKV5, установлен в режиме реального времени, в режиме реального времени, в режиме реального времени, в режиме реального времени, в режиме реального времени.对显卡的要求越来越高,而且小规模训练也越来越难改变模型, 因此训练对个人来说可能会越来越困难。 3B — 模型已经上传，效果更佳，但也更吃显存和配置。建议首先测试通过1b5后再尝试3B。3B fp16占用约6G,int8占用约3G https://colab.research.google.com/drive/1KAn6TNcoGayBceEo1uMuTJpdU7RPFenZ?usp=sharing https://colab.research.google.com/drive/1KKTesMvL1frynfW-NaTkwUDlyeons3-K?usp=sharing
Модальности:
Генерация текста
Задача: Генерация текста
Автор: a686d380
Теги: not-for-all-audiences, zh
Лайков: 324 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
