~ 69M-параметр глубины — повторяющийся чат и модель использования инструмента. Он был переоборудован из ванильного основания ламы в петлевой трансформатор в стиле Huginn/Raven и после обучения в контексте 16K на смеси веб-текста, чата и данных вызова инструментов. Блок рекуррентного ядра можно итерировать переменное количество раз при выводе (numsteps `), поэтому вы можете тратить больше вычислений на более сложные входы без изменения количества параметров. Это небольшая исследовательская модель. Он хорошо справляется с форматом разговора, простыми фактами и структурой вызова инструментов, но это ненадежная база знаний, и она может сорвать открытые творческие подсказки. Относитесь к его фактическим утверждениям с подозрением. Преобразован из SupraLabs/Supra-50M-Base с mcleish7/retrofitting-recurrence, который реорганизует слои в prelude → looped core → coda (4 слоя каждый). Прелюдия и кода проходят один раз; ядро проходит число шагов, поэтому эффективная глубина при numsteps=k составляет примерно 4 4k 4 слоя. Конверсия верна весу: при numsteps=1` она точно воспроизводит исходные логиты ламы. Скрытый размер 512, 32003 вокаб, развязанные вложения. Обучался на 16K токенах (maxpositionembeddings=16384, ropetheta=500000`). Он будет принимать несколько более длинные входы через RoPE…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: breitburg
Теги: huginn_raven, depth-recurrent, huginn, raven, looped-transformer, tool-use, granite-chat-template, conversational
Лайков: 3 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
