Falcon-7B — это модель причинного декодера с 7B параметрами, созданная TII и обученная на 1500B токенах RefinedWeb, дополненная тщательно подобранными корпусами. Он доступен по лицензии Apache 2.0. 🤗 Чтобы начать работу с Falcon (вывод, точная настройка, квантование и т. д.), мы рекомендуем прочитать этот замечательный пост в блоге от HF! Он превосходит сопоставимые модели с открытым исходным кодом (например, MPT-7B, StableLM, RedPajama и т. д.) благодаря обучению на 1500 миллиардах токенов RefinedWeb, дополненных курируемыми корпорациями. См. таблицу лидеров OpenLLM. Он имеет архитектуру, оптимизированную для вывода, с FlashAttention (Dao et al., 2022) и множественными запросами (Shazeer et al., 2019). Он доступен по разрешительной лицензии Apache 2.0, позволяющей коммерческое использование** без каких-либо гонораров или ограничений. ⚠️ Это сырая, предварительно обученная модель, которую необходимо дополнительно настроить для большинства случаев использования. Если вы ищете версию, лучше подходящую для получения общих инструкций в формате чата, мы рекомендуем взглянуть на Falcon-7B-Instruct. 🔥 Ищете еще более мощную модель? Falcon-40B — старший брат Falcon-7B! 💥 Для использования с трансформаторами Falcon LLM требуется PyTorch 2.0! Для быстрого вывода с помощью Falcon…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: falcon, custom_code, en, text-generation-inference
Лайков: 1,098 | Загрузок: 126,511
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
