PLaMo 2 8B — это модель 8B, предварительно обученная на английских и японских наборах данных, разработанная Preferred Elements, Inc. Модели PLaMo 2 адаптируют гибридную архитектуру, такую как Samba, а не архитектуру Transformer. Samba интегрирует Mamba, модель выборочного пространства состояний (SSM), со скользящим окном внимания, объединяя их сильные стороны для повышения эффективности и производительности. Основные различия между Samba и PLaMo 2: 1) добавление слоев нормализации для повышения стабильности обучения и 2) использование ядра Mamba2 для повышения эффективности вычислений. PLaMo 2 8B выпускается под лицензией сообщества PLaMo. Пожалуйста, проверьте следующую лицензию и согласитесь с ней перед загрузкой. — (EN) https://plamo.preferredai.jp/info/plamo-community-license-en — (JA) https://plamo.preferredai.jp/info/plamo-community-license-ja Пожалуйста, проверьте лицензию сообщества PLaMo и свяжитесь с нами через следующую форму, чтобы использовать ее в коммерческих целях. — Размер модели: 8B — Обученные токены: 6T токенов — Разработчик: Preferred Elements, Inc. — Тип модели: только причинный декодер — Язык(и): английский, японский — Лицензия: лицензия сообщества PLaMo Мы обучали PLaMo 2 8B в два этапа: этап 1 с токенами 5,25T и этап 2 с токенами 0,75T. …
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pfnet
Теги: plamo2, custom_code, en, ja
Лайков: 29 | Загрузок: 270
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
