Этот репозиторий содержит плотный Llama 2 7B, настроенный для выполнения арифметических задач с использованием набора данных GSM8k. Официальные веса моделей из раздела «Включение базовых моделей лам с высокой разреженностью с эффективным предварительным обучением и развертыванием». Ниже мы поделимся некоторыми фрагментами кода о том, как быстро начать работу с моделью. Эта модель была получена путем точной настройки плотной Llama 2 7B на наборе данных GSM8k. Точная настройка выполнялась для двух эпох с размером пакета 32, с линейно убывающей скоростью обучения от начального значения 3e-5 и фазой разминки из 20 шагов. Для получения дополнительной поддержки и обсуждения этих моделей и искусственного интеллекта в целом присоединяйтесь к сообществу Slack Neural Magic.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RedHatAI
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 170
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
