Bonsai — это небольшая языковая модель с троичным весом параметров, состоящая из 500 миллионов параметров, обученная Deepgrove. Bonsai использует архитектуру Llama и токенизатор Mistral, как и Danube 3, с модифицированными линейными слоями для поддержки троичных весов. Модель обучалась в основном с использованием DCLM-Pro и Fineweb-Edu. Bonsai знаменует собой новую парадигму эффективности, обучаясь менее чем на 5 миллиардах токенов. — Разработчик: deepgrove — Язык(и) (NLP): английский — Лицензия: Apache-2 — Репозиторий: https://github.com/deepgrove-ai/Bonsai — Бумага: https://github.com/deepgrove-ai/Bonsai/tree/main/paper/Bonsai.pdf Бонсай можно легко использовать через библиотеку Huggingface Transformers. Однако отметим, что все операции в настоящее время выполняются с точностью до 16 бит; в настоящее время мы работаем над интеграцией нашей модели с пользовательскими ядрами смешанной точности. Ниже приводится небольшой пример: мы отмечаем, что Бонсай не настроен на обучение; мы настоятельно рекомендуем выполнить точную настройку модели перед ее использованием в последующих задачах. Bonsai достигает конкурентоспособных показателей среди своих аналогов, став одной из первых тройных моделей, добившихся этого. Результаты оценки приведены ниже; более подробные результаты и сравнение с другими троичными моделями см.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: deepgrove
Теги: llama, custom_code, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 210
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
