Тонкая настройка LoRA Devstral-Small-2-24B, дистиллированная по Клоду 4.6 Opus … следы рассуждений. Цель: дать сильному фундаменту кодирования Devstral явные рассуждения о цепочке мыслей, прежде чем он напишет код. nohurry/Opus-4.6-Reasoning-3000x-filtered — 2324 проблемы с трассировками рассуждений и решениями Claude 4.6 Opus, отфильтрованными до < 20 000 символов общей длины. Поражение рассчитывалось только на ходу ассистента (trainonresponsonly`). Контрольная точка 1200 (конец эпохи 2) была выбрана в течение всего цикла эпохи 3 — для задач дистилляции рассуждений эпоха 3 обычно перестраивается со стилем трассировки, в то время как эпоха 2 дает лучшее обобщение. Требуется базовая модель. Поскольку Devstral — это VLM (Pixtral vision encoder), самый простой путь — это извлеченные веса только для текста — см. технические примечания ниже. Эта модель использует формат [INST]…[/INST] Mistral. Перед ответом модель выдаст… блок. Devstral-Small-2-24B поставляется как Mistral3ForConditionalGeneration (VLM) с датчиком обзора Pixtral. Обучение его как модели только с текстом на одном графическом процессоре объемом 24 ГБ сталкивается с несколькими проблемами: — Вес FP8: официальный выпуск INSTRUCT использует квантование FP8, что требует вычислительной мощности ≥ 8,9. RTX 3090…
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: adamjen
Теги: gguf, mistral, ministral3, code, reasoning, lora, unsloth, knowledge-distillation
Лайков: 3 | Загрузок: 129
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
