Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM с параметрами от 1B до 10B. Этот репозиторий содержит Falcon3-1B-Instruct. Он достигает хороших результатов в рассуждении, понимании языка, выполнении инструкций, кодировании и математических задачах. Falcon3-1B-Instruct поддерживает 4 языка (английский, французский, испанский, португальский) и длину контекста до 8 КБ. — Архитектура — Архитектура только для причинного декодера на основе преобразователя — 18 блоков декодера — Внимание к групповым запросам (GQA) для более быстрого вывода: 8 головок запроса и 4 головки значений ключа — Более широкий размер головки: 256 — Высокое значение RoPE для поддержки понимания длинного контекста: 1000042 — Использует SwiGLU и RMSNorm — Длина контекста 8 КБ — Размер словаря 131 КБ — Урезано и исправлено с использованием большего размера Модели Falcon (3B и 7B соответственно) всего на 80 гигатокенах наборов данных, включающих веб-сайты, коды, STEM, высококачественные и многоязычные данные с использованием 256 чипов графического процессора H100. Посттренинг на 1,2 миллионах образцов STEM, разговоров, кода, данных безопасности и вызовов функций. Поддержка EN, FR, ES, PT. Разработано Институтом технологических инноваций. Лицензия: TII Falcon-LLM. Лицензия 2.0. Модель. Дата выпуска: декабрь 2024 г. Сообщаем в…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: llama, falcon3, conversational, en, fr, es, pt, text-generation-inference
Лайков: 46 | Загрузок: 11,504
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
