Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM уровней от 1B до 10B. Этот репозиторий содержит инструкцию Falcon3-Mamba-7B. По сравнению с аналогичными моделями того же размера на основе SSM он обеспечивает самые современные результаты (на момент выпуска) в рассуждении, понимании языка, выполнении инструкций, кодировании и математических задачах. Falcon3-Mamba-7B-Instruct поддерживает длину контекста до 32 КБ и в основном обучался на корпусе английского языка. — Архитектура (такая же, как Falcon-Mamba-7b) — Архитектура причинного декодера на основе Mamba1, обученная на задаче моделирования причинного языка (т. е. прогнозирования следующего токена). — 64 блока декодера — ширина: 4096 — state_size: 16 — длина контекста 32 тыс. — размер словарного запаса 65 тыс. — Продолжить предварительное обучение из Falcon-Mamba-7b с еще 1500 гигатокенами данных, состоящих из Интернета, кода, STEM и данных высокого качества. — Проведено обучение на 1,2 миллионах образцов STEM, разговоров, кода и безопасности. — Разработано Институтом технологических инноваций — Лицензия: TII Falcon-LLM License 2.0 — Дата выпуска модели: декабрь 2024 г. В следующей таблице мы сообщаем о наших внутренних тестах конвейера. Для тестов, отмеченных звездочкой, мы нормализуем результаты с помощью оценки HuggingFace…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: falcon_mamba, falcon3, falcon3_mamba, conversational, en, endpoints_compatible
Лайков: 32 | Загрузок: 1,334
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
