Модель была обучена на наборе данных, состоящем из 77 миллионов токенов синтетического RP и данных генерации коротких рассказов за одну эпоху. Обучение заняло около 11 часов на рабочей станции с двумя процессорами RTX 3090, щедро предоставленной OwenArli. Применил некоторые разумные настройки по умолчанию для конфигурации обучения, QLoRA плюс CCE для хорошей оптимизации использования памяти, 16 КБ прекрасно помещаются на 48 ГБ с некоторым запасом места. Кажется, у меня возникла проблема со сбоем Eval/Loss, не знаю почему, в остальном все тренировалось гладко. Огромное спасибо ArliAI за предоставление вычислений и сотрудничество в этом прогоне! Модель реагирует на форматирование инструкций GLM4 точно так же, как базовая модель. Серверным модулям сложно автоматически добавить токен BOS, поэтому вам придется сделать это самостоятельно. Шаблон Jinja должен работать для завершения чата. Пример основного импорта для SillyTavern (с использованием системной подсказки Shingane-v1 от Steelskull). Чтобы правильно запустить GGUF, вам нужна самая последняя версия KoboldCPP и передать —overridekv glm4.rope.dimensioncount=int:64 в команду CLI или поместить glm4.rope.dimensioncount=int:64 в поле overridekv в графическом интерфейсе (на вкладке Tokens в самом низу). Спасибо DaringDuck и tofumagnate за информацию о том, как применить это исправление. Чтобы запустить эту модель на vLLM, вам необходимо…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allura-org
Теги: glm4, conversational, en, endpoints_compatible
Лайков: 15 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
