This is a quantized model of Llama-3-SauerkrautLM-70b-Instruct using GPTQ developed by IST Austria using the following configuration: — 4bit — Act order: True — Group size: 128 We did not check for data contamination. Evaluation was done using Eval. Harness using limit=1000.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: cortecs
Теги: llama, conversational, endpoints_compatible, 4-bit, gptq
Лайков: 3 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.