— Alignment Lab AI рада представить наши последние исследовательские разработки: Buzz-8b-Large, современную языковую модель, разработанную в сотрудничестве с Hive Digital Technologies. Модель Buzz, набор данных и код будут выпущены для создания набора инструментов, целью которого является демонстрация потенциала повторного использования и оптимизации существующих предварительно обученных языковых моделей для постоянного повышения производительности, которой можно достичь при оптимальном использовании FlOps. Наряду с Buzz-5b-Medium мы выпускаем — Набор данных Buzz — Buzz-2.5b-Small — Buzz-5b-Medium — Buzz-8B-Large, мы выпускаем этот набор данных Buzz, а в течение следующих нескольких дней — две дополнительные модели: Buzz-3B-Small и Buzz-5B-Medium, кодовую базу для уточнения, фильтрации и расширения данных, а также сокращения и обучения ваших собственных. варианты, дополнительно будут выпущены в ближайшие дни. Наше исследование основано на концепциях, представленных в нескольких ключевых статьях, в том числе: — Простые и масштабируемые стратегии для постоянного предварительного обучения больших языковых моделей — NEFTune: шумные встраивания улучшают точную настройку инструкций — Оптимистическое ускорение AMSGrad для невыпуклой оптимизации — Улучшение производительности обобщения путем переключения с Adam на SGD -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: H-D-T
Теги: llama, axolotl, Alignment-Lab-AI, Meta-Llama-3, en, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
