Воспроизведение OpenLLaMA с использованием 128 графических процессоров H100 в Bfloat16. Предварительные данные состоят из Falcon, Starcoder и Wikipedia, arxiv, book, stackexchange от RedPajama. В общей сложности это охватило почти 1 триллион токенов. Модель обучалась в течение одной эпохи, включая 2000 шагов прогрева и график скорости обучения косинуса, начиная с 3e-5 с размером пакета 4M.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: itsliupeng
Теги: llama, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 241
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
