Here is an example to show how to use model quantized by auto_gptq
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: GodRain
Теги: llama, en, endpoints_compatible
Лайков: 2 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Эта модель была преобразована в формат GGUF из fdtn-ai/Foundation-Sec-8B с помощью llama.cpp через пространство ggml.ai’s GGUF-my-repo. Обратитесь к...
Базовые модели AI Швеция GPT-Sw3 126M | ГПТ-Sw3 356М | GPT-Sw3 1,3B GPT-Sw3 6,7B | GPT-Sw3 6.7B v2...
0-Roleplay — это модель чата, настроенная на основе легких романов, визуальных романов и наборов данных разговоров персонажей. Базовая...
Zurich 14B GammaCorpus v2-1m — это усовершенствованная версия модели Qwen 2.5 14B Instruct от Alibaba. Zurich разработан, чтобы...
