Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом процессоре. Контрольная точка совместима с ctranslate2>=3.16.0 и hf-hub-ctranslate2>=2.10.0 — Computetype=int8float16 для устройства=»cuda» — Computetype=int8 для устройства=»cpu»` Это просто квантованная версия. Условия лицензии должны быть идентичны исходному репозиторию Huggingface. Настроенная по инструкции версия полностью обученной модели Open LLama 7B. Модель открыта для КОММЕРЧЕСКОГО ИСПОЛЬЗОВАНИЯ. ПРИМЕЧАНИЕ. Модель была обучена с использованием шаблона подсказки Alpaca. ПРИМЕЧАНИЕ. Быстрый токенизатор приводит к неправильному кодированию. Установите параметр при создании экземпляра токенизатора. Коммерчески жизнеспособный. Набор данных инструкций, VMware/open-instruct-v1-oasst-dolly-hhrlhf находится под cc-by-sa-3.0. Языковая модель (openlm-research/openllama7b) находится под apache-2.0. Модель: Open-llama — Размер модели: параметры 7B — Набор данных: Open-instruct-v1 (oasst,dolly, hhrlhf). Скрипты тонкой настройки будут доступны в нашем репозитории RAIL Github.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: michaelfeil
Теги: ctranslate2, int8, float16, en, endpoints_compatible
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
