Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM с параметрами от 1B до 10B. Этот репозиторий содержит базу Falcon3-10B. Он обеспечивает самые современные результаты (на момент выпуска) в рассуждениях, понимании языка, следовании инструкциям, кодировании и математических задачах. Falcon3-10B-Base поддерживает 4 языка (английский, французский, испанский, португальский) и длину контекста до 32 КБ. ⚠️ Это необработанная предварительно обученная модель, которую для большинства случаев использования необходимо дополнительно настроить с помощью SFT, RLHF, продолжения предварительного обучения и т. д. — Архитектура — Архитектура причинного декодера на основе преобразователя — 40 блоков декодера — Внимание к групповым запросам (GQA) для более быстрого вывода: 12 головок запроса и 4 головки значений ключа — Более широкий размер головки: 256 — Высокое значение RoPE для поддержки понимания длинного контекста: 1000042 — Использует SwiGLu и RMSNorm — Длина контекста 32 КБ — Размер словаря 131 КБ — Глубина масштабируется с Falcon3-7B-Base с постоянным предварительным обучением на 2 тератокенах наборов данных, включающих Интернет, код, STEM, высококачественные и многоязычные данные с использованием 1024 чипов графического процессора H100 — Поддержка EN, FR, ES, PT — Разработано Институтом технологических инноваций — Лицензия: TII Falcon-LLM License 2.0 -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: llama, falcon3, en, fr, es, pt, model-index, text-generation-inference
Лайков: 40 | Загрузок: 6,133
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
