Мы рады поделиться нашей последней работой над следующей версией Riva-Translate-4B-Instruct! Новая версия превосходит первоначальную версию по нескольким тестам, включая FLORES, NTREX и WMT24, и демонстрирует производительность, сравнимую с EuroLLM-9B-Instruct. Модель поддерживает перевод на 12 языков и диалектов, включая китайский, испанский и португальский варианты. В частности, он охватывает: английский (en), немецкий (de), европейский испанский (es-ES), латиноамериканский испанский (es-US), французский (fr), бразильский португальский (pt-BR), русский (ru), упрощенный китайский (zh-CN), традиционный китайский (zh-TW), японский (ja), корейский (ko) и арабский (ar). Эта модель, построенная на архитектуре Transformer, предназначенной только для декодера, представляет собой доработанную версию базовой модели 4B, которая была сокращена и дистиллирована из nvidia/Mistral-NeMo-Minitron-8B-Base с использованием методов сжатия LLM NVIDIA. Обучение проходило по многоэтапной схеме, состоящей из непрерывного предварительного обучения (CPT), контролируемой точной настройки (SFT) и оптимизации предпочтений с учетом вознаграждения (RPO). Модель использует tiktoken в качестве токенизатора и поддерживает длину контекста в 8 КБ токенов. Даты модели: Riva-Translate-4B-Instruct-v1.1 проходил обучение в период с июня 2025 года по…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 848
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
