Это ранний предварительный просмотр нашей модели на основе RNN с 7B параметрами, обученной на длине контекста 2 тыс. (применяется только этап 2, без SFT или DPO) посредством трехэтапной дистилляции знаний из DeepSeek-R1-Distill-Qwen-1.5B. Будучи базовой версией, она демонстрирует: — ✅ эффективный механизм повторения RWKV-7 — ✅ отсутствие самовнимания, полностью O(n) — ✅ постоянное использование видеопамяти — ✅ дорожную карту обучаемости с одним графическим процессором. Примечание: скоро мы выпустим с открытым исходным кодом различные расширенные версии с: — 🚀 возможностью контекста 16k+ — 🧮 математическими улучшениями — 📚 расширенной моделью рассуждения RL
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RWKV-Red-Team
Теги: rwkv_hybrid, conversational, custom_code, en, zh
Лайков: 6 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
