RWKV-4 обучен более чем на 100 мировых языках (70% английский, 15% многоязычный, 15% код). World = SomePile + SomeRedPajama + SomeOSCAR + AllWikipedia + AllChatGPTDataIcan_find Как использовать: используйте https://github.com/josStorer/RWKV-Runner для графического интерфейса, используйте последний пакет pip rwkv (0.8.0+), используйте https://github.com/BlinkDL/ChatRWKV/blob/main/v2/benchmarkworld.py и https://github.com/BlinkDL/ChatRWKV/blob/main/APIDEMOWORLD.py, чтобы проверить. Различия между World и Raven: установите конвейер = PIPELINE(model, «rwkvvocabv20230424») вместо 20Btokenizer.json (ТОЧНО КАК НАПИСАНО ЗДЕСЬ. «rwkvvocabv20230424» включен в rwkv 0.7.4+) используйте для чата вопрос/ответ, пользователя/ИИ или человека/бота. НЕ ИСПОЛЬЗУЙТЕ Bob/Alice или Q/A** Для моделей 0.1/0.4/1.5B используйте fp32 для первого уровня (в данный момент будет переполнение fp16 — это исправимо в будущем) или bf16, если у вас графические процессоры 30xx/40xx. Пример стратегии: cuda fp32 *1 -> cuda fp16
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en, zh, de, fr, es, pt
Лайков: 214 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
