GLM-4-32B-Base-32K — это усовершенствованная версия GLM-4-32B-Base-0414 компании THUDM, специально разработанная для обеспечения надежной работы в расширенном контекстном окне. Хотя возможности исходной модели ухудшились после 8192 токенов, эта версия сохраняет высокую производительность до контекста с 32 000 токенов, что делает ее идеальной для задач, требующих понимания и обработки длительного контекста. Эта модель была разработана в качестве доказательства концепции, чтобы подтвердить, что ориентированный на слияние подход к расширению контекста может быть успешно применен к более масштабным моделям. Примененные методы привели к общему улучшению примерно на 5% по сравнению со стандартными базовыми моделями и значительно улучшили отзыв 32 тыс. Более подробную информацию можно найти в нашем блоге здесь, где мы применили эту работу к нашему предстоящему AFM 4.5B — Базовая архитектура: THUDM/GLM-4-32B-Base-0414 — Количество параметров: 32B — Лицензия: MIT. Основным улучшением этой модели является ее расширенная возможность работы с длинным контекстом. Для достижения этой цели использовались следующие методы: — Целевое обучение с длинным контекстом: модель подвергалась непрерывному предварительному обучению на последовательностях до полной длины контекста в 32 000 токенов. — Итеративное слияние: различные контрольные точки модели были…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: arcee-ai
Теги: glm4, zh, en, endpoints_compatible
Лайков: 38 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
