👨💻 Github • 🤗 Hugging Face• 🤖 ModelScope • 💬 WeChat• 📜Технический отчет Skywork-13B-Base-3,1 ТБ или Skywork-13B-Base можно проверить. точки, контрольно-пропускные пункты, контрольно-пропускные пункты, маркер, 3,1 ТБ. Skywork-13B-Base-3.1TB: Это промежуточные КПП модели Skywork-13B-Base, которые являются КПП после завершения первого этапа предобучения. На данный момент модель обучила токены объемом 3,1 ТБ. Если вас интересуют дополнительные сведения об обучении и оценке, обратитесь к нашему техническому отчету, документу Skymath) и документу SkyworkMM. 我们精心搭建了数据清洗流程对文本中的低质量数据、有害信息、敏感信息进行清Дополнительная информация: Skywork-13B-Base, настольный компьютер, 3,2 ТБ高质量中、英、代码数据上进行训练，其中英文占比52,2%，中文占比39. 6%. Мы с особой тщательностью разработали конвейер очистки данных, позволяющий эффективно очищать и фильтровать некачественные данные, а также удалять вредную информацию из текстовых данных. Наша модель Skywork-13B-Base обучена на наборе данных с токенами объемом 3,2 ТБ, который состоит из высококачественных данных на китайском, английском языке и кодовых данных, которые были тщательно очищены. Данные на английском языке составляют 52,2% набора данных, данные на китайском языке — 39,6%, а кодовые данные — 8%. Такой комплексный подход обеспечивает оптимальную производительность как для китайских…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Skywork
Теги: skywork, custom_code
Лайков: 15 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
