Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM с параметрами от 1B до 10B. Этот репозиторий содержит базу Falcon3-3B. Он достигает хороших результатов в рассуждении, понимании языка, выполнении инструкций, кодировании и математических задачах. Falcon3-3B-Base поддерживает 4 языка (английский, французский, испанский, португальский) и длину контекста до 8 КБ. Он был урезан по глубине и ширине по сравнению с базой Falcon3-7B и был эффективно обучен только на 100 GT с использованием цели дистилляции знаний. ⚠️ Это необработанная предварительно обученная модель, которую для большинства случаев использования необходимо дополнительно настроить с помощью SFT, RLHF, продолжения предварительного обучения и т. д. — Архитектура — Архитектура только для причинного декодера на основе преобразователя — 22 блока декодера — Внимание к групповым запросам (GQA) для более быстрого вывода: 12 головок запроса и 4 головки значений ключа — Более широкий размер головки: 256 — Высокое значение RoPE для поддержки понимания длинного контекста: 1000042 — Использует SwiGLU и RMSNorm — Длина контекста 8 КБ — Размер словарного запаса 131 КБ — Урезано и исправлено из Falcon3-7B — базируется всего на 100 гигатокенах наборов данных, включающих Интернет, код, STEM, высококачественные и многоязычные данные, с использованием 1024 чипов графического процессора H100 — поддерживает EN, FR, ES,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: llama, falcon3, en, fr, es, pt, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 7,294
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
