Модели Llama3-8B-1.58 — это большие языковые модели, точно настроенные на архитектуре BitNet 1.58b, начиная с базовой модели Llama-3-8B-Instruct. Для более глубокого ознакомления с методами и результатами ознакомьтесь с публикацией в нашем блоге. — Репозиторий: Модель — Документ: Эра 1-битных LLM: все модели больших языков имеют размер 1,58 бит. Вы можете легко загрузить и протестировать нашу модель в Transformers. Просто следуйте приведенному ниже коду: Начните с установки версии преобразователей с правильной конфигурацией для загрузки моделей битовых сетей. 4. Размер пакета — 2 миллиона токенов на шаг. — Всего токенов: 5000 шагов * 2 миллиона токенов = 10 миллиардов токенов. 5. Лямбда-планировщик — для прогрева квантования используется линейный лямбда-планировщик — Значение лямбды: 1 / (1 + exp(-k (шаг / 1000) — 0,5)))` — Постепенное введение квантования в течение первых 1000 шагов. 7. Производительность. Достигнуты впечатляющие результаты с учетом ограниченных данных обучения. Превзошла некоторые модели, обученные на гораздо больших наборах данных (например, BitNet 7B, обученная на 100 миллиардах токенов). 8. Оценка. Регулярные оценки с использованием различных показателей. Метрики включали недоумение, оценки MMLU и другие стандартные тесты. 9. Квантование — 1,58-битное (троичное) квантование для весов — Активации…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HF1BitLLM
Теги: llama, text-generation-inference, endpoints_compatible, 8-bit, bitnet
Лайков: 10 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
