Модель i3-80M — это новая гибридная архитектура, сочетающая сверточные/рекуррентные уровни со слоями полного внимания для эффективного языкового моделирования. Эта архитектура уникальным образом сочетает в себе смешивание времени в стиле RWKV с динамикой пространства состояний Mamba на ранних уровнях, за которым следует стандартное многоголовое внимание на более глубоких уровнях. Это вторая модель в серии i3, увеличенная по сравнению с оригинальной i3-22M с улучшенной архитектурой и возможностью обучения на нескольких наборах данных. > [!NOTE] > Чтобы использовать модель, попробуйте здесь. > > Citeşte aici în Română 🙂 — Общие параметры: ~ 82,77M (82 765 160) — Архитектура: 10 гибридных (RWKV-Mamba) + 6 слоев полного внимания = 16 Всего слоев — Размер словаря: 35 560 токенов (куски переменной длины с токенами) — Скрытое измерение (dmodel): 512 — Заголовки внимания: 16 — Размерность состояния (dstate): 32 — Максимальная длина последовательности: 256 — Токенизация: эффективное для памяти разбиение на блоки переменной длины (2–3 символа) 1. Гибридная архитектура: обеспечивает полное многоголовочное внимание на верхних уровнях для улучшения долгосрочных зависимостей 2. Больший словарный запас: в 8 раз больший словарный запас (35 560 против 4 466) для лучшего покрытия токенов 3. Обучение с использованием нескольких наборов данных: Обучение проводилось на 3 различных наборах данных по сравнению с одним набором данных 4. Лучше…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: i3-lab
Теги: i3, i3-architecture, hybrid-model, rwkv-mamba, custom_code, en, endpoints_compatible
Лайков: 7 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
