На самом деле у меня не было никаких крутых идей README для этого, поэтому мы просто используем любую песню, которую я слушаю, и это оказалась Baby, я истекаю кровью. Тем не менее, это тонкая настройка из расширенной (или исправленной?) контекста 32K Arcee GLM4. База Arcee GLM4 — обучена только с помощью Tulu-SFT-Mixture, но я удалил примеры выравнивания безопасности. Вышло довольно хорошо, он использует ChatML, потому что формат GLM4 вызывает у меня головную боль. Это вполне компетентный помощник, хотя я не проводил никаких тестов на предмет того, насколько хорошо модель работает в более длительных контекстах, и не проводил впоследствии никакого RL, чтобы исправить ее края. Думаю, это должна быть достойная основа для любых будущих доработок. Я чувствовал, что GLM4 действительно не было задано правильное время суток, и это намного лучшая основа, чем любая модель Qwen3. GGUF: https://huggingface.co/mradermacher/GLM-Tulu-ChatML-GGUF Imatrix GGUF: https://huggingface.co/mradermacher/GLM-Tulu-ChatML-i1-GGUF WandB: https://wandb.ai/new-eden/Training-A100/runs/05kktve8?nw=nwuserdeltavector Этот поезд занял 15 часов на 8xB200, предоставленных Deepinfra и Cognitive Computations, конфигурация связана с WandB. Спасибо Люси, Аури, NyxKrage, создателям Tulu-SFT-Mix и всем в Anthracite & Allura.
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям Диалог / чат Химия
Задача: Генерация текста
Автор: Delta-Vector
Теги: glm4, instruct, code, chemistry, GLM, conversational, en, endpoints_compatible
Лайков: 9 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
