👨💻 Github • 🤗 Hugging Face• 🤖 ModelScope • 💬 WeChat• 📜Технический отчет Skywork-13B-Base может быть заменен 量清洗过滤的3.2万亿个多语言（主要是中文和英文）和代码数据上进行预训练，它在多种评测和各种基准测试上都展现了同等规模模型的最佳效果。 Skywork-13B-Base: модель была обучена на высококачественном очищенном наборе данных, состоящем из 3,2 триллиона многоязычных данных (в основном китайского и английского) и кода. Он продемонстрировал лучшие характеристики среди моделей аналогичного масштаба в различных оценках и тестах производительности. Skywork-13B-Base-8bits может использоваться в Skywork-13B-Base в 8bits, а также в некоторых случаях. Skywork-13B-Base-8bits — это квантованная модель Skywork-13B-Base, предназначенная для поддержки развертывания и вывода на графических процессорах потребительского уровня. Если вас интересуют дополнительные сведения об обучении и оценке, обратитесь к нашему техническому отчету, документу Skymath) и документу SkyworkMM. 我们精心搭建了数据清洗流程对文本中的低质量数据、有害信息、敏感信息进行清Дополнительная информация: Skywork-13B-Base, настольный компьютер, 3,2 ТБ高质量中、英、代码数据上进行训练，其中英文占比52,2%，中文占比39. 6%. Мы с особой тщательностью разработали конвейер очистки данных, позволяющий эффективно очищать и фильтровать некачественные данные, а также удалять вредную информацию из текстовых данных. Наша модель Skywork-13B-Base обучена на наборе данных с токенами объемом 3,2 ТБ, который состоит из высококачественного китайского, английского и кода…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Skywork
Теги: skywork, custom_code, 8-bit, bitsandbytes
Лайков: 7 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
