⚠️ВАЖНО: Данная модель предназначена только для исследовательских целей. Он предоставляется «как есть» без каких-либо гарантий для производственного использования. Ouro-1.4B — это языковая модель с 1,4 миллиардами параметров (LoopLM), которая обеспечивает исключительную эффективность параметров за счет итеративных вычислений с общим весом. — Исключительная эффективность параметров: соответствует производительности стандартного преобразователя 3–4B с параметрами всего 1,4 млрд. — Итеративное скрытое рассуждение: выполняет рассуждения посредством рекуррентных вычислений в скрытом пространстве. — Адаптивные вычисления: поддерживает механизмы раннего выхода для динамического распределения вычислений. Вычислительное поведение модели можно настроить с помощью файла config.json: — totalutsteps: контролирует количество повторяющихся шагов (по умолчанию: 4). Вы можете настроить это значение, чтобы найти компромисс между производительностью и временем вычислений. — Earlyexitthreshold: управляет механизмом адаптивного выхода (по умолчанию: 1.0). Более низкие значения способствуют более раннему выходу, а значение 1,0 означает всегда использовать все шаги. > Примечание. vLLM в настоящее время не поддерживает функцию адаптивного выхода из-за ее характеристик оптимизации вывода. При использовании vLLM модель всегда будет выполнять полное количество шагов. Ouro-1.4B основан только на декодере…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: ByteDance
Теги: ouro, looped-language-model, reasoning, recurrent-depth, conversational, custom_code
Лайков: 78 | Загрузок: 20,719
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
