RADLADS (Быстрая перегонка внимания в линейные декодеры внимания в масштабе) представляет новый протокол для быстрого преобразования преобразователей внимания softmax в модели линейного декодера внимания. Этот высокоэффективный процесс требует всего 350–700 миллионов токенов дистилляции, что составляет менее 0,005% от количества токенов, используемых для обучения исходных моделей учителей. Этот репозиторий предоставляет модель RADRWKV7Qwen2.5-7B, преобразованную версию Qwen2.5. Подход RADLADS сохраняет качество, очень близкое к оригинальному трансформатору, обеспечивая при этом современную производительность нисходящего потока для моделей линейного внимания такого размера. Он обеспечивает значительно более быстрый вывод благодаря постоянному времени вывода для каждого токена. Документ: RADLADS: быстрая дистилляция внимания в линейные декодеры внимания в масштабе, эффективное и экономичное преобразование: преобразует большие преобразователи внимания softmax в линейные модели внимания с минимальными дополнительными жетонами обучения. Переоборудование модели 72B стоит менее 2000 долларов США. Сохранение качества: модели, преобразованные с помощью RADLADS, сохраняют качество, очень близкое к исходным моделям учителей-трансформеров. Ультрасовременное исполнение: эти модели…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: recursal
Теги: rwkv7qwen2, conversational, custom_code
Лайков: 8 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
