QLoRA оптимизировал Mixtral-8x22B-v0.1 на основе комбинации наборов данных Capybara и Airoboros. Использует форматирование инструкций Mistral, например: [INST] Опишите квантовые вычисления непрофессионалу. [/INST] Подробности модели: — Обучение с помощью QLoRA, на 4 4090-х, с использованием моего собственного сценария обучения qlora-pipe — LoRA ранг 64 — длина последовательности 4096 — 2 эпохи Файлы адаптера LoRA можно найти здесь. Я также загрузил сюда один квант (GGUF q4ks), если вы хотите попробовать его, не квантуя самостоятельно и не ожидая, пока кто-то другой выполнит все кванты. Он соответствует длине контекста не менее 16 КБ на 96 ГБ видеопамяти.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tdrussell
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
