Точная настройка моделей RWKV-4-стопки на [RedPajama + некоторые из Pile v2 = 1,7Т токенов]. Обновлено данными за 2020+2021+2022 годы и лучше на всех европейских языках. Хотя некоторые из них являются промежуточными контрольными точками (XXXGtokens означает точную настройку для токенов XXXG), вы уже можете использовать их, поскольку я выполняю тонкую настройку на основе моделей Pile (вместо переобучения).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 40 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.