Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM уровней от 1B до 10B. Этот репозиторий содержит Falcon3-Mamba-7B. По сравнению с аналогичными моделями того же размера на основе SSM он обеспечивает самые современные результаты (на момент выпуска) в рассуждении, понимании языка, выполнении инструкций, кодировании и математических задачах. Falcon3-Mamba-7B-Base поддерживает длину контекста до 32 КБ и в основном обучался на корпусе английского языка. — Архитектура (такая же, как Falcon-Mamba-7b) — Архитектура причинного декодера на основе Mamba1, обученная на задаче моделирования причинного языка (т. е. прогнозирования следующего токена). — 64 блока декодера — ширина: 4096 — размерность состояния: 16 — длина контекста 32 тыс. — размер словаря 65 тыс. — Продолжить предварительное обучение из Falcon-Mamba-7b с еще 1500 гигатокенами данных, состоящих из Интернета, кода, STEM и данных высокого качества. — Разработано Институтом технологических инноваций — Лицензия: TII Falcon-LLM License 2.0 — Дата выпуска модели: декабрь 2024 г. В следующей таблице мы сообщаем о наших внутренних тестах конвейера. Для тестов, отмеченных звездочкой, мы нормализуем результаты с помощью нормализации оценок HuggingFace: Оценка категории Zamba2-7B Llama-3.1-8B Falcon-Mamba-7B…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: falcon_mamba, falcon3, falcon3_mamba, en, endpoints_compatible
Лайков: 23 | Загрузок: 612
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
