Переработанная версия https://huggingface.co/tiiuae/falcon-7b для сред с низким объемом оперативной памяти (например, Colab, Kaggle) в безопасных тензорах. Falcon-7B — это модель причинного декодера с 7B параметрами, созданная TII и обученная на 1500B токенах RefinedWeb, дополненная кураторскими корпусами. Он доступен по лицензии Apache 2.0. 🤗 Чтобы начать работу с Falcon (вывод, точная настройка, квантование и т. д.), мы рекомендуем прочитать этот замечательный пост в блоге от HF! Он превосходит сопоставимые модели с открытым исходным кодом (например, MPT-7B, StableLM, RedPajama и т. д.) благодаря обучению на 1500 миллиардах токенов RefinedWeb, дополненных курируемыми корпорациями. См. таблицу лидеров OpenLLM. Он имеет архитектуру, оптимизированную для вывода, с FlashAttention (Dao et al., 2022) и множественными запросами (Shazeer et al., 2019). Он доступен по разрешительной лицензии Apache 2.0, позволяющей коммерческое использование** без каких-либо гонораров или ограничений. ⚠️ Сокол теперь доступен в качестве базовой модели в библиотеке трансформеров! Чтобы использовать версию из библиотеки, установите последнюю версию преобразователей с помощью pip install git+https://github.com/huggingface/transformers.git, а затем просто удалите аргументtrustremotecode=True из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: vilsonrodrigues
Теги: falcon, custom_code, en, text-generation-inference
Лайков: 5 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
