— Введение модели — Использование — Оценка производительности — Техническая информация — Данные — Токенизатор — Журналы обучения — Стратегия обучения — Многоэтапное обучение — Обучение на основе сегментов — Ограничения — Цитаты Команда Colossal-AI представила модель с открытым исходным кодом Colossal-LLaMA-2-7B-base. Эта модель, являющаяся развитием LLaMA-2, подвергалась непрерывному предварительному обучению с использованием примерно 8,5 миллиардов токенов в течение 15 часов с использованием 64 графических процессоров A800. Затратив менее 1000 долларов, вы сможете добиться результатов, аналогичных тем, предварительная подготовка которых с нуля обходится в миллионы долларов. Он распространяется по лицензии LLaMA-2 и лицензии Apache 2.0 без каких-либо дополнительных ограничений на коммерческое использование. Это решение также можно использовать для построения моделей конкретных знаний или задач в предметной области. База Colossal-LLaMA-2-7B предназначена для поддержки как китайского, так и английского языков и имеет обширное контекстное окно, охватывающее 4096 токенов. Примечательно, что он продемонстрировал исключительную производительность при сравнении с моделями эквивалентного масштаба по стандартным китайским и английским показателям оценки, включая C-Eval и MMLU, среди прочих. Чтобы загрузить базовую модель Colossal-LLaMA-2-7B с помощью Трансформеров, используйте…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hpcai-tech
Теги: llama, zh, en, text-generation-inference, endpoints_compatible
Лайков: 76 | Загрузок: 837
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
