Falcon-RW-1B — это модель причинного декодера с параметрами 1B, созданная TII и обученная на 350B токенах RefinedWeb. Он доступен по лицензии Apache 2.0. RefinedWeb — это высококачественный набор веб-данных, созданный с использованием строгой фильтрации и крупномасштабной дедупликации. Falcon-RW-1B, обученный только на RefinedWeb, соответствует или превосходит сопоставимые модели, обученные на тщательно подобранных данных. ⚠️ Сокол теперь доступен в качестве базовой модели в библиотеке трансформеров! Чтобы использовать встроенную в библиотеку версию, установите последнюю версию преобразователей с помощью pip install git+https://github.com/huggingface/transformers.git, а затем просто удалите аргументtrustremotecode=True из frompretrained()`. ⚠️ Эта модель предназначена для использования в качестве исследовательского артефакта для изучения влияния обучения только на веб-данные. Если вас интересуют современные модели, мы рекомендуем использовать Falcon-7B/40B, оба обучены на >1000 миллиардов токенов. 💥 Для использования с трансформаторами Falcon LLM требуется PyTorch 2.0! — Разработчик: https://www.tii.ae; — Тип модели: только причинный декодер; — Язык(и) (НЛП): английский; — Лицензия: Апач 2.0. Исследование больших языковых моделей, в частности влияния адекватно отфильтрованных и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: falcon, custom_code, en, text-generation-inference
Лайков: 118 | Загрузок: 10,384
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
