👨💻 Github • 🤗 Hugging Face• 🤖 ModelScope • 💬 WeChat• 📜Технический отчет Skywork-13B-Base может быть заменен 量清洗过滤的3.2万亿个多语言（主要是中文和英文）和代码数据上进行预训练，它在多种评测和各种基准测试上都展现了同等规模模型的最佳效果。 Skywork-13B-Base: модель была обучена на высококачественном очищенном наборе данных, состоящем из 3,2 триллиона многоязычных данных (в основном китайского и английского) и кода. Он продемонстрировал лучшие характеристики среди моделей аналогичного масштаба в различных оценках и тестах производительности. Если вас интересуют дополнительные сведения об обучении и оценке, обратитесь к нашему техническому отчету, документу Skymath) и документу SkyworkMM. 我们精心搭建了数据清洗流程对文本中的低质量数据、有害信息、敏感信息进行清Дополнительная информация: Skywork-13B-Base, настольный компьютер, 3,2 ТБ高质量中、英、代码数据上进行训练，其中英文占比52,2%，中文占比39. 6%. Мы с особой тщательностью разработали конвейер очистки данных, позволяющий эффективно очищать и фильтровать некачественные данные, а также удалять вредную информацию из текстовых данных. Наша модель Skywork-13B-Base обучена на наборе данных с токенами объемом 3,2 ТБ, который состоит из высококачественных данных на китайском, английском языке и кодовых данных, которые были тщательно очищены. Данные на английском языке составляют 52,2% набора данных, данные на китайском языке — 39,6%, а кодовые данные — 8%. Такой комплексный подход гарантирует…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Skywork
Теги: skywork, custom_code
Лайков: 70 | Загрузок: 188
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
