Это полностью 4-битная (размер группы = 64) квантованная модель HQQ Llama3.1-70B-Instruct. Вы можете воспроизвести приведенные выше результаты с помощью pip install lm-eval==0.4.3. Кроме того, убедитесь, что вы используете как минимум torch 2.4.0 или ночную сборку.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: dropbox-dash
Лайков: 32 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Qwen-VL 🤗 🤖  ｜ Qwen-VL-Chat 🤗 🤖  (Int4: 🤗 🤖 ) ｜ Qwen-VL-Plus 🤗 🤖  ｜ Qwen-VL-Max 🤗 🤖 ...
Поддержите тонкие настройки Mawdistical здесь. Спасибо fizz за помощь по этой модели. Поддержите ее здесь → Вопросы —...
Исходная модель: https://huggingface.co/NovaSky-AI/Sky-T1-32B-Preview Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в котором...
Это квантованная версия defog/llama-3-sqlcoder-8b, созданная с использованием llama.cpp. Подходящая языковая модель для генерации текста в SQL для Postgres,...
