—maxseqlen 8192 —compressposemb 4 —loader exllama_hf check monkeypatch in ooba ..
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MrDragonFox
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.