Вопросы, комментарии, отзывы, хотите сделать пожертвование или хотите помочь? Свяжитесь с нами в Discord или по электронной почте wing@openaccessaicollective.org. Это версия Falcon, расширенная до контекста 4K с использованием набора данных RedPajama Sample. Пожалуйста, укажите авторство этой модели при выпуске доработанных моделей на ее основе. Falcon-7B — это модель причинного декодера с 7B параметрами, созданная TII и обученная на 1500B токенах RefinedWeb, дополненная тщательно подобранными корпусами. Он доступен по лицензии Apache 2.0. Он превосходит сопоставимые модели с открытым исходным кодом (например, MPT-7B, StableLM, RedPajama и т. д.) благодаря обучению на 1500 миллиардах токенов RefinedWeb, дополненных курируемыми корпорациями. См. таблицу лидеров OpenLLM. Он имеет архитектуру, оптимизированную для вывода, с FlashAttention (Dao et al., 2022) и множественными запросами (Shazeer et al., 2019). Он доступен по разрешительной лицензии Apache 2.0, позволяющей коммерческое использование** без каких-либо гонораров или ограничений. ⚠️ Это сырая, предварительно обученная модель, которую необходимо дополнительно настроить для большинства случаев использования. Если вы ищете версию, лучше подходящую для получения общих инструкций в формате чата, мы рекомендуем взглянуть на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: openaccess-ai-collective
Теги: RefinedWebModel, custom_code, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
