Этот репозиторий реализует настраиваемую задачу конвейера для генерации текста для конечных точек 🤗 вывода для вывода LLM с использованием квантования битов и байтов. Код для настраиваемого конвейера находится в pipeline.py. ниже приведен пример выполнения запроса с помощью Python и запросов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: philschmid
Теги: codegen, endpoints-template, endpoints_compatible
Лайков: 2 | Загрузок: 172
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
