My VRAM usage with 13B models are: I have rounded up, these arent exact numbers, this is also on a windows machine, they should be slightly lower on linux.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Kooten
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
VBD-LLaMA2-Chat — LLaMA2 с разговорной настройкой для вьетнамского языка (Отказ от ответственности 1: Семейство VBD-LLaMA — это попытка...
Этот репозиторий содержит файлы моделей формата GGUF для yentinglin/Llama-3-Taiwan-8B-Instruct. Участвуйте в захватывающей арене чат-ботов и соревнуйтесь с другими...
Smoothie Qwen — это легкий инструмент настройки, который сглаживает вероятности токенов в Qwen и аналогичных моделях, расширяя возможности...
> [!NOTE] > Если вы используете llama.cpp, используйте —jinja, чтобы включить системное приглашение. > Unsloth Dynamic 2.0 обеспечивает...
