Модели Llama3-8B-1.58 — это большие языковые модели, точно настроенные на архитектуре BitNet 1.58b, начиная с базовой модели Llama-3-8B-Instruct. Для более глубокого ознакомления с методами и результатами ознакомьтесь с публикацией в нашем блоге. — Репозиторий: Модель — Документ: Эра 1-битных LLM: все модели больших языков имеют размер 1,58 бит. Вы можете легко загрузить и протестировать нашу модель в Transformers. Просто следуйте приведенному ниже коду: Начните с установки версии преобразователей с правильной конфигурацией для загрузки моделей битовых сетей. 4. Размер пакета — 2 миллиона токенов на шаг — Всего токенов: 5000 шагов * 2 миллиона токенов = 10 миллиардов токенов. 5. Лямбда-планировщик — для прогрева квантования использовался линейный лямбда-планировщик — Значение лямбды: min(trainingstep/1000, 1)` — это постепенно вводило квантование в течение первые 1000 шагов 7. Производительность – Достигнуты впечатляющие результаты с учетом ограниченных данных обучения – Превзошли по производительности некоторые модели, обученные на гораздо больших наборах данных (например, BitNet 7B, обученная на 100B токенах) 8. Оценка – Регулярные оценки с использованием различных показателей – Метрики включали недоумение, оценки MMLU и другие стандартные тесты 9. Квантование – 1,58-битное (троичное) квантование для весов — Активации квантованы до…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HF1BitLLM
Теги: llama, text-generation-inference, endpoints_compatible, 8-bit, bitnet
Лайков: 11 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
