OLMo-Bitnet-1B — это модель с параметрами 1B, обученная с использованием метода, описанного в разделе «Эра 1-битных LLM: все модели больших языков имеют разрядность 1,58 бита». Он был обучен на первых 60 миллиардах токенов набора данных Dolma, поэтому это всего лишь исследовательская проверка концепции для проверки методологии. Отдельный тренировочный прогон был проведен с теми же гиперпараметрами, но с использованием стандартных весов fp16. Сравнение можно найти в этом отчете wandb.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: olmo, custom_code, endpoints_compatible
Лайков: 120 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
