В этом репозитории представлена флагманская модель Upstage, Solar-Open-100B, оснащенная запатентованной технологией квантования Nota AI, специально разработанной для LLM на основе Mixture-of-Experts (MoE). В отличие от традиционных методов квантования, этот подход включает в себя новый метод, предназначенный для смягчения искажений представления, которые могут возникнуть, когда эксперты смешиваются при квантовании в архитектурах MoE. — Базовая модель: Solar-Open-100B — Квантование: только вес Int4 — Формат упаковки: autoround:autogptq (обеспечивает совместимость серверной части с PyTorch и vLLM) — Размер группы квантования: 128 — Поддерживаемые размеры тензорных параллелей: {1,2} — Требования к оборудованию: Минимум:** 2 x NVIDIA A100 (80 ГБ) Этот репозиторий содержит как веса моделей, так и код, которые лицензируются на разных условиях: 1. ВЕС МОДЕЛИ (.safetensors), лицензированный по лицензии Upstage Solar** См.: https://huggingface.co/upstage/Solar-Open-100B/blob/main/LICENSE 2. КОД (файлы .py, .json, .jinja), лицензированный по лицензии Apache 2.0** См.: https://www.apache.org/licenses/LICENSE-2.0 * Примечание — ↑ / ↓ обозначают направление улучшения: чем выше, тем лучше (↑), чем ниже, тем лучше (↓). — Cyankiwi AWQ — это общедоступный INT4 (4-битный AWQ)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nota-ai
Теги: solar_open, upstage, solar, moe, 100b, llm, nota, quantization
Лайков: 44 | Загрузок: 697
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
