Это копия статьи BitNet b1.58. Модели обучаются с использованием набора данных RedPajama для токенов 100B. Гиперы, а также двухэтапное LR и снижение веса реализованы, как предложено в следующей статье. Все модели находятся в открытом доступе в репозитории. Мы будем обучать более крупные модели и/или больше токенов, когда ресурсы будут доступны. Различия между сообщаемыми числами и воспроизведенными результатами, возможно, являются отклонениями от обработки обучающих данных, начальных чисел или других случайных факторов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BoscoTheDog
Теги: gguf, llama, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 274
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
