ИНФОРМАЦИЯ: Эта модель представляет собой модель Falcon-40B-Instruct, квантованную с использованием битов и байтов. Это сэкономит вам около 40 ГБ загрузок, если вы все равно планируете квантовать модель. Квантование битсэндбайтов поддерживает только графический процессор, поэтому оно будет работать только с графическим процессором, который может хранить полную модель. Falcon-40B-Instruct — это модель причинного декодера с 40 параметрами, созданная TII на основе Falcon-40B и настроенная на смеси Baize. Он доступен по лицензии Apache 2.0. Вы ищете готовую к использованию модель чата/инструктирования на базе Falcon-40B. Falcon-40B — лучшая доступная модель с открытым исходным кодом. Он превосходит LLaMA, StableLM, RedPajama, MPT и т. д. См. таблицу лидеров OpenLLM. Он имеет архитектуру, оптимизированную для вывода**, с FlashAttention (Дао и др., 2022) и множественными запросами (Shazeer et al., 2019). 💬 Это инструктированная модель, которая может не подойти для дальнейшей тонкой настройки. Если вы заинтересованы в создании собственной модели обучения/чата, мы рекомендуем начать с Falcon-40B. 💸 Ищете меньшую и менее дорогую модель? Falcon-7B-Instruct — младший брат Falcon-40B-Instruct! — Разработчик: https://www.tii.ae; — Тип модели: только причинный декодер; — Язык(и) (НЛП): английский и…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: ichitaka
Теги: RefinedWeb, custom_code, en, text-generation-inference, 8-bit
Лайков: 6 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
