joelhenwang/OdinNext-138M-Instruct - Каталог нейросетей
Генерация текста

joelhenwang/OdinNext-138M-Instruct

Добавлено:
joelhenwang/OdinNext-138M-Instruct

OdinNext — это причинно-языковая модель со 138 млн параметров, которая заменяет softmax самообслуживание на закрытую линейную рекуррентность в стиле HGRN2. Этот репозиторий представляет собой настроенный на инструкции вариант joelhenwang/OdinNext-138M-Base: база была подвергнута постобучению с помощью SFT и дистилляции знаний на уровне последовательности (SeqKD) от преподавателя-инструктора 1.2B (LFM2.5-1.2B-Instruct) в кратком помощнике в формате ChatML. Это маленькая инструкция-последователь, а не модель знаний. Фактическая точность принципиально ограничена 138 миллионами параметров — он следует инструкциям и дает структурированные ответы в стиле помощника, но факты будут галлюцинировать. Используйте его для исследования компактных моделей чатов с рекуррентным/линейным вниманием, а не для приложений, чувствительных к знаниям. — Репо: joelhenwang/OdinNext-138M-Instruct — База: joelhenwang/OdinNext-138M-Base (138M рекуррентная база HGRN2) — Формат чата: ChatML ( / ), словарь на 32 770 токенов. — Контекстное окно: 2048 токенов в выпущенном коде вывода. — Лицензия: Апач-2.0. > Использует собственный код Transformers. Загрузка с помощью Trustremotecode=True выполняет > Python из этого репозитория. Просмотрите файлы или закрепите коммит, прежде чем доверять ему. с состоянием каждого слоя в форме [B, nheads, headfdim,…

Модальности:
Генерация текста

Области применения:
Следование инструкциям Диалог / чат


Задача: Генерация текста
Автор: joelhenwang
Теги: odinnext, hgrn2, linear-attention, recurrent, causal-lm, custom_code, instruct, chat
Лайков: 6  |  Загрузок: 177

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.