Это чистая субквадратичная модель линейного внимания с параметрами 8B, линеаризованная из модели Meta Llama 3.1 8B. Подробности об этой модели и о том, как ее обучать, можно найти по адресу: https://github.com/HazyResearch/lolcats/tree/lolcats-scaled. Вот краткий GIST GitHub, который поможет вам выполнить логический вывод по контрольным точкам модели. См. страницу статьи: https://huggingface.co/papers/2410.10254.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hazyresearch
Теги: en
Лайков: 14 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.