Семейство моделей открытого фундамента Falcon3 представляет собой набор предварительно обученных и инструктирующих LLM уровней от 1B до 10B. Этот репозиторий содержит инструкцию Falcon3-7B. Он достигает самых современных результатов (на момент выпуска) в рассуждениях, понимании языка, следовании инструкциям, кодировании и математических задачах. Falcon3-7B-Instruct поддерживает 4 языка (английский, французский, испанский, португальский) и длину контекста до 32 КБ. — Архитектура — Архитектура только причинного декодера на основе преобразователя — 28 блоков декодера — Группированное внимание к запросам (GQA) для более быстрого вывода: 12 головок запроса и 4 головки ключевых значений — Более широкий размер головки: 256 — Высокое значение RoPE для поддержки понимания длинного контекста: 1000042 — Использует SwiGLU и RMSNorm — Длина контекста 32 КБ — Размер словаря 131 КБ — Предварительно обучено на 14 тератокенах наборы данных, состоящие из Интернета, кода, STEM, высококачественных и многоязычных данных с использованием 1024 чипов графического процессора H100. Обработано на 1,2 миллионах образцов STEM, разговоров, кода, данных безопасности и вызовов функций. Поддерживает EN, FR, ES, PT. Разработано Институтом технологических инноваций. Лицензия: TII Falcon-LLM License 2.0. Дата выпуска модели: декабрь 2024 г. Сообщаем об официальной таблице лидеров HuggingFace нормированные оценки…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: llama, falcon3, conversational, en, fr, es, pt, text-generation-inference
Лайков: 76 | Загрузок: 24,234
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.