Falcon-40B-Instruct — это модель причинного декодера с 40 параметрами, созданная TII на основе Falcon-40B и настроенная на смеси Baize. Он доступен по лицензии Apache 2.0. 🤗 Чтобы начать работу с Falcon (вывод, точная настройка, квантование и т. д.), мы рекомендуем прочитать этот замечательный пост в блоге от HF! Вы ищете готовую к использованию модель чата/инструктирования на базе Falcon-40B. Falcon-40B — лучшая доступная модель с открытым исходным кодом. Он превосходит LLaMA, StableLM, RedPajama, MPT и т. д. См. таблицу лидеров OpenLLM. Он имеет архитектуру, оптимизированную для вывода**, с FlashAttention (Дао и др., 2022) и множественными запросами (Shazeer et al., 2019). 💬 Это инструктированная модель, которая может не подойти для дальнейшей тонкой настройки. Если вы заинтересованы в создании собственной модели обучения/чата, мы рекомендуем начать с Falcon-40B. 💸 Ищете меньшую и менее дорогую модель? Falcon-7B-Instruct — младший брат Falcon-40B-Instruct! Для быстрого вывода с помощью Falcon воспользуйтесь выводом Text Generation Inference! Подробнее читайте в этом блогпосте. Вам понадобится как минимум 85–100 ГБ памяти, чтобы быстро выполнить вывод с помощью Falcon-40B. — Разработчик: https://www.tii.ae; — Тип модели: только причинный декодер; -…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: falcon, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 1,177 | Загрузок: 39,234
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
