PLaMo 2 1B — это модель 1B, предварительно обученная на английских и японских наборах данных, разработанная Preferred Elements, Inc. Модели PLaMo 2 адаптируют гибридную архитектуру, такую как Samba, а не архитектуру Transformer. Samba интегрирует Mamba, модель выборочного пространства состояний (SSM), со скользящим окном внимания, объединяя их сильные стороны для повышения эффективности и производительности. Основные различия между Samba и PLaMo 2: 1) добавление слоев нормализации для повышения стабильности обучения и 2) использование ядра Mamba2 для повышения эффективности вычислений. — Размер модели: 1B — Обученные токены: токены 4T — Разработчик: Preferred Elements, Inc. — Тип модели: только причинный декодер — Язык(и): английский, японский — Лицензия: лицензия Apache версии 2.0 Мы обучали PLaMo 2 1B в два этапа: этап 1 с токенами 3,5T и этап 2 с токенами 0,5T. Процент наборов данных на каждом этапе показан в следующей таблице. Токенизатор PLaMo 2 1B оптимизирован с помощью numba, JIT-компилятора для числовых функций. Токенизатор обучается на подмножестве наборов данных для предварительного обучения модели. — (JA) https://tech.preferred.jp/ja/blog/plamo-2/ — (JA) https://tech.preferred.jp/ja/blog/plamo-2-tokenizer/ PLaMo 2 1B — это новый…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pfnet
Теги: plamo2, custom_code, en, ja
Лайков: 38 | Загрузок: 80,099
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
