Это копия статьи BitNet b1.58. Модели обучаются с использованием набора данных RedPajama для токенов 100B. Гиперы, а также двухэтапное LR и снижение веса реализованы, как предложено в следующей статье. Все модели находятся в открытом доступе в репозитории. Мы будем обучать более крупные модели и/или больше токенов, когда ресурсы будут доступны. Различия между сообщаемыми числами и воспроизведенными результатами, возможно, являются отклонениями от обработки обучающих данных, начальных чисел или других случайных факторов. Конвейеры оценки предоставлены авторами статьи. Вот команды для запуска оценки:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 1bitLLM
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 264
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
