Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM с параметрами от 1B до 10B. Этот репозиторий содержит базу Falcon3-1B. Он достигает хороших результатов в рассуждении, понимании языка, выполнении инструкций, кодировании и математических задачах. Falcon3-1B-Base поддерживает 4 языка (английский, французский, испанский, португальский) и длину контекста до 4К. Он был урезан с точки зрения глубины, ширины, количества головок и встраиваемых каналов из более крупной модели 3B Falcon и был эффективно обучен только на 80 GT с использованием цели дистилляции знаний. ⚠️ Это необработанная предварительно обученная модель, которую для большинства случаев использования необходимо дополнительно настроить с помощью SFT, RLHF, продолжения предварительного обучения и т. д. — Архитектура — Архитектура причинного декодера на основе преобразователя — 18 блоков декодера — Внимание к групповым запросам (GQA) для более быстрого вывода: 8 головок запроса и 4 головки значений ключа — Более широкий размер головки: 256 — Высокое значение RoPE для поддержки понимания длинного контекста: 1000042 — Использует SwiGLU и RMSNorm — Длина контекста 4 КБ — Размер словаря 131 КБ — Урезано и исправлено с использованием большего размера Модели Falcon (3B и 7B соответственно) всего на 80 гигатокенах наборов данных, состоящих из Интернета, кода, STEM, высоких…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: llama, falcon3, en, fr, es, pt, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 19,009
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
