Наша подача на строго-маленький трек челленджа BabyLM. Baby Llama — это модель с параметрами 58M, созданная на основе ансамбля, состоящего из LLaMA-360M и GPT2-705M, оба обученных на наборе данных babylm10M`. См. соответствующий документ для подробного обсуждения процедуры обучения и производительности модели. Код обучения доступен по адресу https://github.com/timinar/BabyLlama. При оценке модели на задачах, требующих тонкой настройки, мы заметили, что предложенные организаторами BabyLM гиперпараметры по умолчанию приводят к сильному переобучению в ряде задач. Чтобы избежать этой проблемы, мы перенастроили эти гиперпараметры. Наборы гиперпараметров, выбранные для каждой задачи, указаны в таблице ниже.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: timinar
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 1,816
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
