Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM уровней от 1B до 10B. Этот репозиторий содержит базу Falcon3-7B. Он достигает самых современных результатов (на момент выпуска) в рассуждениях, понимании языка, следовании инструкциям, кодировании и математических задачах. Falcon3-7B-Base поддерживает 4 языка (английский, французский, испанский, португальский) и длину контекста до 32 КБ. ⚠️ Это сырая, предварительно обученная модель, которую необходимо дополнительно настроить для большинства случаев использования. — Архитектура — архитектура только причинного декодера на основе преобразователя — 28 блоков декодера — внимание к групповым запросам (GQA) для более быстрого вывода: 12 головок запроса и 4 головки KV — более широкий размер головки: 256 — высокое значение RoPE для поддержки понимания длинного контекста: 1000042 — длина контекста 32 тыс. — размер словаря 131 тыс. — предварительно обучено на 14 тератокенах наборов данных, состоящих из Интернета, кода, STEM, высокого качества и многоязычные данные с использованием 1024 чипов графического процессора H100. Поддерживает EN, FR, ES, PT. Разработано Институтом технологических инноваций. Лицензия: TII Falcon-LLM License 2.0. Дата выпуска модели: декабрь 2024 г. В следующей таблице мы сообщаем о наших внутренних тестах конвейера. — Мы используем программу lm-оценки. — Мы сообщаем сырое…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: llama, falcon3, en, fr, es, pt, text-generation-inference, endpoints_compatible
Лайков: 36 | Загрузок: 7,661
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
