Xmodel-LM — это причинно-языковая модель с 1,1 миллиарда параметров, предварительно обученная с нуля XiaoduoAI на примерно 2 триллионах токенов двуязычных (китайских и английских) данных. Несмотря на свой компактный размер, он превосходит многие модели с открытым исходным кодом в масштабе 1B (например, TinyLlama-1.1B, OPT-1.3B, Pythia-1.4B) как в английских, так и в китайских тестах. Документ: arXiv 2406.02856 Github: XiaoduoAILab/XmodelLM Официальные контрольные точки: XiaoduoAILab/Xmodel-LM Основная аудитория: исследователи и практики, которым нужна небольшая, быстрая, двуязычная базовая модель для последующей адаптации или периферийного развертывания. ———|——————|——————|—————| — Математика и код: все еще слабы в тестах GSM8k и кодирования; рекомендуйте контролируемую точную настройку для арифметических или программных задач. — Ограничение знаний: данные предварительного обучения до ~2024-03; нет живого доступа в Интернет. — Безопасность: не соответствует RLHF; может создавать вредный или предвзятый контент — примените модерацию перед использованием в производстве. — Китайское соотношение: всего ~15% токенов; Хотя он лучше, чем большинство моделей 1B, но все же уступает моделям на родном китайском языке по классическому или предметно-ориентированному тексту.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: XiaoduoAILab
Теги: xmodel, xmodel-lm, 1-1b, causal-lm, chinese, english, pretrained, xiaoduo-ai
Лайков: 9 | Загрузок: 1,291
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
