kaitchup/Llama-3.3-70B-Instruct-AutoRound-GPTQ-4bit

Это мета-лама/Llama-3.3-70B-Instruct, квантованная с помощью AutoRound (симметричное квантование) и сериализованная в формате GPTQ в 4-битном формате. Модель была создана, протестирована и оценена компанией The Kaitchup. Подробности о процессе квантования и использовании модели можно найти здесь: How to Quantize and Run Llama 3.3 70B Instruct on Your GPU !Llama 3.3 70B Instruct Zero-Shot MMLU (Accuracy).png !Llama 3.3 70B Instruct Model Size.png — Разработчик: The Kaitchup — Язык(и) (NLP): Английский — Лицензия: Llama 3.3

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: kaitchup
Теги: llama, auto-gptq, AutoRound, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 6  |  Загрузок: 88

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.