Veyra2-Apricot-50M-Base — это модель причинного языка, подобная Llama, с 49,3 млн параметров, обученная с нуля примерно на 20 млрд токенов. Это сырая базовая модель, а не настроенный по инструкции помощник. Он предназначен для исследований, сравнительного анализа, непрерывного предварительного обучения и экспериментов на небольших моделях. Если вы ищете базовую модель, которая лучше подходит для быстрого продолжения, вам следует использовать вместо нее veyra-ai/Veyra-30M-Base. Параметры: 49 303 040 Архитектура: Llama-like причинный LM Слои: 16 Скрытый размер: 512 Головки внимания: 8 Головки KV: 2 Размер головы: 64 Промежуточный размер: 1408 Размер словаря: 8192 Длина контекста, используемого в обучении: 1024 Активация: SwiGLU/SiLU Нормализация: RMSNorm Внимание: GQA с QKV-Norm Позиционное кодирование: RoPE Привязка веса: связанные входные встраивания и голова LM. Жетоны обучения: примерно 19,99B. Точность обучения: bfloat16 Оптимизатор: Muon — FineWeb-Edu sample-10BT: 45% — Cosmopedia-v2: 30% — DCLM-Edu: 15% — FineMath Finemath-3plus: 10% — Последний шаг: 9532 — Просмотрено токенов: 19 990 052 864 — Токенов на шаг: 2 097 152 — Общий размер пакета: 2048 — Длина последовательности: 1024 — Последняя потеря поезда: 2,5062 — Окончательная потеря оценки: 2,4978 — Недоумение окончательной оценки: 12,16 — Точность SciCloze-900: 47,56%…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: veyra-ai
Теги: veyra2_apricot, causal-lm, base-model, custom-code, veyra, small-language-model, science, conversational
Лайков: 7 | Загрузок: 818
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
