Этот адаптер LoRA помогает восстановить точность при использовании квантованных версий Qwen/Qwen3-0.6B INT4. Он был обучен с использованием самодистилляции данных, сгенерированных Magpie. — Базовая модель: Qwen/Qwen3-0.6B — Квантование: INT4 с NF4 — Ранг LoRA: 64 — LoRA Alpha: 128 — Обучающие выборки: 610 — Целевой разрыв в производительности: — Метод: самодистилляция с использованием генерации данных Magpie — Структура: PEFT + LoRA — Функция потерь: комбинированная дивергенция KL + потеря MSE — Температура: 1,0 — Альфа (вес перегонки): 0,01 — ✅ Поддерживает точность, близкую к базовому уровню FP16 — ✅ Сокращение использования памяти на ~75 % — ✅ Вывод в 2–3 раза быстрее, чем FP16 — ✅ Легко интегрируется с существующими рабочими процессами — Набор данных: codelion/Qwen3-0.6B-magpie — Базовая модель: Qwen/Qwen3-0.6B — Платформа: PEFT Этот адаптер является частью проекта Ellora — стандартизированных рецептов для расширения возможностей LLM.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: codelion
Теги: peft, ellora, lora, quantization, accuracy-recovery, distillation, magpie, efficiency
Лайков: 5 | Загрузок: 2,322
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
