Модели Llama3-8B-1.58 — это большие языковые модели, точно настроенные на архитектуре BitNet 1.58b, начиная с базовой модели Llama-3-8B-Instruct. Для более глубокого ознакомления с методами и результатами ознакомьтесь с публикацией в нашем блоге. — Репозиторий: Модель — Документ: Эра 1-битных LLM: все модели больших языков имеют размер 1,58 бит. Вы можете легко загрузить и протестировать нашу модель в Transformers. Просто следуйте приведенному ниже коду: Начните с установки версии преобразователей с правильной конфигурацией для загрузки моделей битовых сетей. 1. Начальная точка — лучшая контрольная точка из 10 миллиардов запусков токенов с помощью линейного лямбда-планировщика. 2. Продолжительность обучения — точная настройка на дополнительные 45 000 шагов. — Всего достигнуто 100 миллиардов токенов. 4. Размер пакета — 2 миллиона токенов за шаг. — Всего за один запуск: 45 000 шагов. * 2 миллиона токенов = 90 миллиардов токенов — В сочетании с первоначальными 10 миллиардами токенов для достижения 100 миллиардов 5. Эксперименты по скорости обучения — Протестированы различные скорости обучения, чтобы найти оптимальные настройки. Согласно экспериментам, лучший пиковый уровень lr — 1e-5 6. Производительность — Близка к Llama3 8B по некоторым показателям — Позади Llama3 8B в общей средней производительности 7. Оценка — Метрики включали недоумение, Результаты MMLU,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HF1BitLLM
Теги: llama, conversational, text-generation-inference, endpoints_compatible, 8-bit, bitnet
Лайков: 201 | Загрузок: 1,532
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
