0. TL;DR 1. Подробности модели 2. Использование 3. Подробности обучения 4. Оценка — Разработано: https://www.tii.ae — Тип модели: Только причинный декодер — Архитектура: Mamba — Язык(и) (NLP): В основном английский — Лицензия: TII Falcon-Mamba License 2.0 Ниже приведены примеры сценариев использования модели в трансформерах (убедитесь, что у вас установлены последние версии трансформеров, или тот, который создан из исходного кода): Falcon-Mamba прошел обучение с использованием ~ 5500 GT, в основном полученных из Refined-Web, большого объема веб-набора данных, отфильтрованного и дедуплицированного. Подобно другим моделям пакета Falcon, Falcon-Mamba прошел обучение с использованием стратегии многоэтапного обучения, позволяющей увеличить длину контекста с 2048 до 8192. Более того, вдохновленные концепцией обучения по учебной программе, мы тщательно отбирали смеси данных на всех этапах обучения, учитывая как разнообразие, так и сложность данных. Обратите внимание, что при выводе длина контекста не имеет значения, поскольку архитектура Mamba не имеет ограничений на зависимость на большом расстоянии. На последнем этапе обучения небольшая часть тщательно отобранных высококачественных данных использовалась для дальнейшего повышения производительности. В целом, источники данных включали RefinedWeb-English, высококачественные технические данные, данные кода и математические данные…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: falcon_mamba, en, model-index, endpoints_compatible
Лайков: 242 | Загрузок: 13,993
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
