VAETKI-20B-A2B — это (маленькая) языковая модель, разработанная NC-AI и предназначенная специально для повышения эффективности вывода. Серия VAETKI использует архитектуру Mixture-of-Experts (MoE) для эффективного баланса производительности и вычислительных затрат. — Тип: причинные (авторегрессивные) языковые модели — Архитектура: Трансформеры, MoE (смесь экспертов) — Разработано: NC-AI — Этап обучения: предварительное обучение и постобучение — Количество параметров: всего 19,64B и активировано 2,2B — Количество параметров (без внедрения): 19,1B — Количество слоев: 24 — Количество глав внимания: 16 — Количество экспертов: 128 — Количество активированных экспертов: 8 — Длина контекста: 16 тыс. токенов — Размер словарного запаса: 126 тыс. — Языки: корейский, английский, китайский и японский — Лицензия: MIT — Связанные URL-адреса: https://github.com/wbl-ncai/VAETKI/ Из-за ограничений времени обучения и ресурсов для предварительная подготовка. Аппаратная платформа: Платформа Naver Cloud MLX Графические процессоры: NVIDIA H100 80 ГБ HBM3 × 256 Программное обеспечение: конфигурация архитектуры модели, цикл обучения, контрольные точки и логика распределенной оптимизации были реализованы на основе Megatron-Core v0.14 с выборочными изменениями…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nc-ai-consortium
Теги: vaetki, VAETKI, causal-lm, conversational, custom_code, ko, en, zh
Лайков: 9 | Загрузок: 770
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
