ALMA (trAnslator на основе расширенной языковой модели) — это модель перевода на основе LLM, в которой используется новая парадигма модели перевода: она начинается с точной настройки одноязычных данных и в дальнейшем оптимизируется с использованием высококачественных параллельных данных. Этот двухэтапный процесс тонкой настройки обеспечивает высокую производительность перевода. Более подробную информацию вы найдете в нашей статье. АЛМА-Р (НОВИНКА!) уже выпущена! ALMA-R основан на моделях ALMA с дальнейшей тонкой настройкой LoRA с помощью предложенной нами оптимизации контрастных предпочтений (CPO) в отличие от контролируемой точной настройки, используемой в ALMA. Для точной настройки CPO требуются данные о наших тройных предпочтениях для обучения предпочтениям. ALMA-R теперь может соответствовать или даже превосходить победителей GPT-4 или WMT! Мы выпускаем шесть моделей перевода, представленных в документе: — ALMA-7B: Полная точная настройка LLaMA-2-7B на 20 Б одноязычных токенов, а затем Полная точная настройка на параллельных данных, написанных человеком. — ALMA-7B-LoRA: Полная точная настройка LLaMA-2-7B на 20 Б одноязычных токенов, а затем точная настройка LoRA на параллельных данных, написанных человеком. ALMA-7B-R (НОВИНКА!): Дальнейшая точная настройка LoRA на основе ALMA-7B-LoRA с контрастной оптимизацией предпочтений. — ALMA-13B: Полноценная точная настройка LLaMA-2-7B на 12B одноязычных токенах и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: haoranxu
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 8,420
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
