VAETKI-7B-A1B — это (маленькая) языковая модель, разработанная NC-AI и предназначенная специально для повышения эффективности вывода. Серия VAETKI использует архитектуру Mixture-of-Experts (MoE) для эффективного баланса производительности и вычислительных затрат. — Тип: причинные (авторегрессивные) языковые модели — Архитектура: Трансформеры, MoE (смесь экспертов) — Разработано: NC-AI — Этап обучения: предварительное обучение и постобучение — Количество параметров: всего 7,25B и активировано 1,2B — Количество параметров (без внедрения): 6,8B — Количество слоев: 24 — Количество головок внимания: 12 — Число Экспертов: 64. Количество активированных экспертов: 5. Длина контекста: 16 тыс. токенов. Размер словарного запаса: 126 тыс. Языки: корейский, английский, китайский и японский. Лицензия: MIT. Связанные URL-адреса: https://github.com/wbl-ncai/VAETKI/. Из-за ограничений времени обучения и ресурсов для предварительного обучения было использовано только 1,86 триллиона токенов из доступных источников данных. Аппаратная платформа: Платформа Naver Cloud MLX Графические процессоры: NVIDIA H100 80 ГБ HBM3 × 256 Программное обеспечение: конфигурация архитектуры модели, цикл обучения, контрольные точки и логика распределенной оптимизации были реализованы на основе Megatron-Core v0.14 с выборочными изменениями…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nc-ai-consortium
Теги: vaetki, VAETKI, causal-lm, conversational, custom_code, ko, en, zh
Лайков: 8 | Загрузок: 58
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
