Solar Open — это флагманская модель большого языка Upstage со 102B параметрами, полностью обученная с нуля и выпущенная по лицензии Upstage Solar (подробности см. в разделе «ЛИЦЕНЗИЯ»). Будучи архитектурой Mixture-of-Experts (MoE), она обеспечивает производительность корпоративного уровня в рассуждениях, следовании инструкциям и агентских возможностях, при этом отдавая приоритет прозрачности и настройке для сообщества открытого исходного кода. Архитектура MoE (102B / 12B): построена на архитектуре смешанного типа с общим количеством 102B / 12B активных параметров. Эта конструкция обеспечивает глубину знаний массивной модели при скорости вывода и экономической эффективности гораздо меньшей модели. Масштабное обучение: предварительное обучение на 19,7 триллионах токенов, обеспечивающее широкий охват знаний и надежные возможности рассуждения в различных областях. Доступна квантовая версия: официальная квантованная модель INT4 предоставлена NotaAI и доступна по адресу nota-ai/Solar-Open-100B-NotaMoEQuant-Int4`. Название модели: Solar Open 100B Hugging Face ID: Upstage/Solar-Open-100B Архитектура: Mixture-of-Experts (MoE) Общие параметры: 102,6B Активные параметры: 12B (на каждый токен) Эксперты: 129 экспертов (8 лучших из 128 направленных + 1 общий) Предварительное обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: upstage
Теги: solar_open, upstage, solar, moe, 100b, llm, conversational, en
Лайков: 456 | Загрузок: 8,163
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
