Theta-35 — это усовершенствованная модель рассуждения из серии Theta от SVECTOR. По сравнению с обычными моделями, настроенными на инструкции, Theta-35, которая специализируется на сложном мышлении и рассуждениях, обеспечивает значительно более высокую производительность при выполнении последующих задач, особенно при решении сложных задач, требующих глубокого логического анализа и многоэтапного рассуждения. Этот репозиторий содержит модель Theta-35, которая имеет следующие функции: — Этап обучения: предварительное обучение и постобучение (контролируемая точная настройка и обучение с подкреплением) — Архитектура: трансформаторы с RoPE, SwiGLU, RMSNorm и смещением QKV внимания — Количество параметров: 33B — Количество параметров (без внедрения): 33B — Количество слоев: 64 — Количество головок внимания (GQA): 40 для Q и 8 для KV. Длина контекста: полные 32 000 токенов. Скользящее окно: 32 768 токенов. Для Theta-35 требуется последняя версия трансформеров Hugging Face. Мы советуем вам использовать версию 4.43.1 или новее. В более старых версиях преобразователей вы можете столкнуться со следующей ошибкой: Вот фрагмент кода, показывающий, как загрузить токенизатор и модель, а также как генерировать контент: Для достижения оптимальной производительности с Theta-35 мы рекомендуем следующие настройки: 1. Принудительно…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: SVECTOR-CORPORATION
Теги: theta, chat, reasoning, conversational, en, endpoints_compatible
Лайков: 9 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
