Это версия квантования AWQ llama3.1-8b. Если у вас более 4 ГБ памяти GPU, вы можете запустить его на высокой скорости. hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 量子化時に日本語と中国語を多めに使っているため、より日本語データを使って計測したPerplexityが良い事がわかっています Поскольку японский и китайский языки часто используются во время квантования, известно, что Perplexity, измеренный с использованием японских данных, лучше, чем hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dahara1
Теги: llama, conversational, en, ja, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 3 | Загрузок: 102
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
