yasserrmd/glm5.1-distill — это модель чата с настраиваемыми инструкциями с параметрами 1,2 млрд, построенная на основе LiquidAI/LFM2.5-1.2B-Base. Он реализован с контролируемой точной настройкой (SFT) на 50-тысячном подмножестве Jackrong/GLM-5.1-Reasoning-1M-Cleaned, очищенном корпусе чатов в стиле рассуждения, выделенном из семейства GLM-5.1. Цель состоит в том, чтобы перенести часть диалогового поведения более крупных моделей учителей GLM-5.1 в небольшую и эффективную архитектуру LFM2.5, чтобы она могла комфортно работать на одном потребительском графическом процессоре, на периферийных устройствах или через квантовые среды выполнения, такие как ONNX, GGUF или MLX. > Примечание. Это доработка независимого сообщества. Он не связан и не одобрен Liquid AI или Z.ai/THUDM (авторы GLM). Базовое семейство LFM2.5 чувствительно к настройкам выборки. Следующие настройки по умолчанию (унаследованные от эталонных настроек Liquid AI) работают хорошо: — Источник: Jackrong/GLM-5.1-Reasoning-1M-Cleaned, основная конфигурация — Срез: первые 50 000 строк разделения поезда — Формат: многоходовые разговоры в стиле ShareGPT, нормализованные с помощью unsloth.chattemplates.standardizeddataformats — Маскирование потерь: trainonresponsesonly, так что только помощник жетоны способствуют потерям. После SFT адаптеры LoRA были объединены в базовые гири…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: yasserrmd
Теги: lfm2, liquid-ai, distillation, reasoning, glm, unsloth, trl, sft
Лайков: 5 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
