FalconLit2 — это тонко настроенная и квантованная языковая модель Falcon 40B, способная обрабатывать длинные (до 24 000 токенов) входные последовательности. Используя 4-битное квантование GPTQ и адаптированный RotaryEmbedding, FalconLite2 способен обрабатывать в 10 раз более длинные контексты, потребляя при этом в 4 раза меньше памяти графического процессора, чем исходная модель. FalconLite2 полезен для таких приложений, как поиск тем, обобщение и ответы на вопросы. FalconLite2 можно развернуть на одном экземпляре AWS g5.12x с TGI 1.0.3 и TGI 1.1.0, что делает его подходящим для приложений, которым требуется высокая производительность в средах с ограниченными ресурсами. Вы также можете развернуть FalconLite2 непосредственно на конечных точках SageMaker. FalconLite2 является развитием FalconLite, их сходства и различия кратко изложены ниже: — Разработано: участниками AWS — Тип модели: Falcon 40B — Язык: английский — Точная настройка на основе весов: модель Falcon 40B SFT OASST-TOP1 — Точная настройка на данных: — SLidingEncoder и Decoder (SLED) — Многопроходной контроль качества на основе естественных вопросов — OpenAssistant Conversations Набор данных (OASST1) — обслуживается с использованием платформы: Text-Generation-Inference 1.0.3 — Модель лицензии: Apache 2.0 — Контактное лицо: GitHub выдает вход по SSH к экземпляру AWS g5.12x…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: amazon
Теги: RefinedWeb, custom_code
Лайков: 50 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
