Полная SFT-тонкая настройка google/gemma-4-E4B-it на полном наборе данных с открытым исходным кодом GLM-5.1-1000000x (~614k разговоров), обученная с помощью LoRA DDP на 6 графических процессорах A100-40GB. Это объединенная модель — файлы PEFT или адаптера не требуются. Загрузите его напрямую, как и любую стандартную модель HuggingFace. Модель создает структурированную, пошаговую цепочку рассуждений в стиле GLM-5.1, охватывающую многоступенчатую математику, науку на уровне PhD и многоязычные проблемы STEM. Минимальные требования к vLLM: — GPU: 1× GPU с ≥24 ГБ VRAM (протестировано на A100-40GB) — vLLM ≥ 0,7 (поддержка Gemma 4) — —enable-chunked-prefill требуется для длинных контекстных (128k) запросов — без него применяются большие предварительные заполнения OOM Preprocessing: — Шаблон чата Gemma 4 (tokenizer.applychattemplate) — Отфильтрованные последовательности более 8192 токенов (~2% отброшенных образцов) — Стратифицированное распределение 95/5 поезд/вал по подмножествам — Длина последовательности во время обучения: Каждая последовательность была ограничена 2048 до Позиционное кодирование базовой модели сохраняется через LoRA, поэтому vLLM может работать в контексте 128k, но производительность на очень длинных цепочках рассуждений формально не оценивалась. — All-token training: Мы тренировались на всех токенах (пользователь …
Модальности:
Генерация текста
Области применения:
Математика Логика и рассуждение Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: Dhiaul
Теги: peft, gemma4, gemma, gemma-4, lora, sft, reasoning, math
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
