FalconLite — это квантованная версия модели Falcon 40B SFT OASST-TOP1, способная обрабатывать длинные (т. е. 11 000 токенов) входные последовательности, потребляя при этом в 4 раза меньше памяти графического процессора. Используя 4-битное квантование GPTQ и адаптированное динамическое NTK RotaryEmbedding, FalconLite достигает баланса между задержкой, точностью и эффективностью памяти. Благодаря способности обрабатывать в 5 раз более длинные контексты, чем исходная модель, FalconLite полезен для таких приложений, как поиск тем, обобщение и ответы на вопросы. FalconLite можно развернуть на одном экземпляре AWS g5.12x с TGI 0.9.2, что делает его подходящим для приложений, которым требуется высокая производительность в средах с ограниченными ресурсами. Чтобы быть в курсе обновленной модели FalconLite2, посетите FalconLite2. — Разработано: участниками AWS — Тип модели: Falcon 40B — Язык: английский — Квантовано на основе весов: модель Falcon 40B SFT OASST-TOP1 — Изменено на основе слоев: Text-Generation-Inference 0.9.2 — Лицензия: Apache 2.0 — Контактное лицо: проблемы GitHub — Сообщение в блоге: Увеличьте длину контекста Falcon40B до 10 тыс. SSH-входа на AWS Экземпляр g5.12x с AMI глубокого обучения. Чтобы развернуть FalconLite на конечной точке SageMaker, следуйте инструкциям в этом блокноте.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: amazon
Теги: RefinedWeb, custom_code
Лайков: 170 | Загрузок: 225
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
