Bitnet-LLama-70M — это модель с параметрами 70M, обученная с использованием метода, описанного в разделе «Эра 1-битных LLM: все модели больших языков имеют размер 1,58 бита». Он был обучен на подмножестве набора данных HuggingFaceTB/cosmopedia. Это всего лишь небольшой эксперимент по опробованию BitNet. Bitnet-LLama-70M обучался 2 эпохи на 1xA100. Эта модель — всего лишь эксперимент, и вы можете не получить хороших результатов при общении с ней из-за меньшего размера модели и меньшего обучения.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: abideen
Теги: llama, bitnet, open-source, cosmopedia, en, text-generation-inference, endpoints_compatible
Лайков: 28 | Загрузок: 45
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
