CUDAVISIBLEDEVICES=0 python llama.py model c4 —wbits 4 —true-sequential —groupsize 128 —save_safetensors 4bit-128g.safetensors
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ausboss
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области...
Buddhi-128k-Chat — это модель первого чата общего назначения с окном длины контекста 128 КБ. Он тщательно настроен на...
По состоянию на 8 октября 2025 г. создайте новую среду Python и запустите: Встречайте Qwen3-VL — самую мощную...
Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области...
