Обучение на токенах 100B. — 1e-3 LR — 0,1 wd — Планировщик WSD с затуханием 10 % — 80 % кода, 10 % NL, 10 % данных инструкций — Набор данных очищен от популярных тестов после bigcode — 8x3090s 110 ~ часов Это базовая предварительно обученная модель, и для ее использования требуется дальнейшая точная настройка.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: abacaj
Теги: onnx, llama, text-generation-inference, endpoints_compatible
Лайков: 23 | Загрузок: 368
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.