— Введение модели — Использование — Оценка производительности — Техническая информация — Данные — Токенизатор — Журналы обучения — Стратегия обучения — Многоэтапное обучение — Обучение на основе сегментов — Ограничения — Цитаты По сравнению с версией 7B команда Colossal-AI разработала модель с открытым исходным кодом Colossal-LLaMA-2-13B-base с более сложной архитектурой данных, которая классифицирует данные на информативные, функциональные и данные воспроизведения в памяти. В частности, информативные данные подразделяются на более чем дюжину основных категорий, включая финансы, право, образование и т. д. Каждая основная категория далее делится на различные подкатегории, что позволяет более точно контролировать различные типы данных. Одновременно был расширен масштаб данных для разных доменов. Чтобы удовлетворить потребности сообщества в функциональных возможностях больших моделей, мы разработали улучшения для различных задач обработки естественного языка. Это гарантирует, что модель обладает определенным пониманием и навыками выполнения общих задач обработки естественного языка на этапе предварительного обучения, что позволяет создавать точно настроенные модели с меньшими затратами на последующих этапах тонкой настройки. Помимо решения растущих проблем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hpcai-tech
Теги: llama, zh, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
