llmixer/QuartetAnemoi-70B-t0.0001-2.5bpw-h6-exl2

Exllamav2 2.5bpw h6 quant for alchemonaut/QuartetAnemoi-70B-t0.0001.

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: llmixer
Теги: llama, 2.5bpw, h6, exl2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 13

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #2.5bpw #conversational #en #endpoints_compatible #exl2 #h6 #llama #text-generation-inference

Статистика

Лайки 3

Загрузок 13

Тип задачи Генерация текста

Открыть оригинальную страницу модели на HuggingFace

Перейти на HuggingFace

llmixer/QuartetAnemoi-70B-t0.0001-2.5bpw-h6-exl2

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

TinyLlama/TinyLlama_v1.1_chinese

— Кодовая база: github.com/jzhang38/TinyLlama — Технический отчет: arxiv.org/pdf/2401.02385 Мы приняли точно такую же архитектуру и токенизатор, что и...