Часть проекта ConDeNse — сжатие логических возможностей больших моделей в маленькие, пригодные для развертывания. — Базовая модель: Qwen/Qwen3-1.7B — Метод: LoRA (r=32, α=64) — Целевые модули: qproj, kproj, vproj, oproj,gateproj, upproj, downproj — Dtype:** float16 — Набор данных: Jackrong/GLM-5.1-Reasoning-1M-Cleaned (75 000 примеров) — Оптимизатор: AdamW 8-бит — Скорость обучения: 2e-4 с косинусным планировщиком. — Размер пакета: накопление градиента 1 × 16 (эффективный пакет = 16). — Максимальная длина последовательности: 4096. — Упаковка: включена.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CoNDeNse-AI
Теги: peft, qwen3, lora, sft, trl, unsloth, conversational, text-generation-inference
Лайков: 5 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
