ALMA-R основан на моделях ALMA с дальнейшей тонкой настройкой LoRA с помощью предложенной нами оптимизации контрастных предпочтений (CPO) в отличие от контролируемой точной настройки, используемой в ALMA. Для точной настройки CPO требуются данные о наших тройных предпочтениях для обучения предпочтениям. ALMA-R теперь может соответствовать или даже превосходить победителей GPT-4 или WMT! Мы выпускаем шесть моделей перевода, представленных в статье: — ALMA-7B — ALMA-7B-LoRA — ALMA-7B-R (НОВИНКА!): Дальнейшая доработка LoRA на основе ALMA-7B-LoRA с контрастной оптимизацией предпочтений. — ALMA-13B — ALMA-13B-LoRA — ALMA-13B-R (НОВИНКА!): Дальнейшая точная настройка LoRA на основе ALMA-13B-LoRA с контрастной оптимизацией предпочтений (ЛУЧШАЯ МОДЕЛЬ!). Обратите внимание, что ALMA-7B-Pretrain и ALMA-13B-Pretrain НЕ являются моделями перевода. Они проходят только одноязычную тонкую настройку этапа 1 (20 миллиардов токенов для модели 7B и 12 миллиардов токенов для модели 13B), и их следует использовать вместе с их моделями LoRA. Наборы данных, используемые ALMA и ALMA-R, также опубликованы на Huggingface (НОВИНКА!) Быстрый старт для использования нашей лучшей системы (ALMA-13B-R) для перевода. Пример перевода «我爱机器翻译。» на английский:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: haoranxu
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 8,344
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
