Tri-21B-Think — это версия Tri-21B с улучшенными рассуждениями, созданная за счет расширения длины контекста в середине обучения (32 КБ), контролируемой точной настройки (SFT) и обучения с подкреплением (RL). Он превосходно справляется с цепочкой мыслей и многоэтапными агентскими задачами с использованием инструментов. Расширенное рассуждение: цепочка мыслей с помощью SFT и RL поверх Tri-21B. Агентическое: сильные возможности многооборотного вызова инструментов и сложные многоэтапные возможности взаимодействия. Расширенный контекст: длина контекста увеличена с 8 КБ до 32 КБ токенов в середине обучения (до 262 КБ с масштабированием YaRN). Расширенные возможности корейского языка: возможности корейского языка значительно улучшены по сравнению с базовой моделью и предварительной версией — Тип: модель причинного языка (Улучшенное рассуждение) — Базовая модель: Tri-21B — Архитектура: Декодер трансформатора с RoPE, SwiGLU, RMSNorm и GQA — Количество параметров: 20.73B — Количество слоев: 40 — Количество заголовков внимания: 32 (запрос) / 8 (ключ, значение) — Размер заголовка: 160 — Скрытый размер: 5120 — Промежуточный размер: 27 392 — Длина контекста: 32 768 (до 262 144 с YaRN) — Размер словаря: 124 416 Поддержка vLLM и SGLang для Trillion Model находится в разработке. Следите за обновлениями! > Примечание по тегам: эта модель была обучена без…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: trillionlabs
Теги: trillion, finetuned, chat, reasoning, conversational, custom_code, en, ko
Лайков: 28 | Загрузок: 4,299
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
