DPO выполнил точную настройку microsoft/Phi-3-mini-4k-instruct (параметры 3.82B) с использованием набора данных rlhf jpacifico/french-orca-dpo-pairs-revised. Обучение на французском языке также улучшает англоязычную модель, превосходя ее базовую модель. Контекст окна = 4 тыс. токенов Доступны квантованные 4-битные и 8-битные версии (см. ниже). Более крупная версия Chocolatine-14B также доступна в последней версии 1.2. Chocolatine — самая эффективная 3B-модель в таблице лидеров OpenLLM (август 2024 г.). [Обновление 22 августа 2024 г.] Chocolatine-3B также превосходит новую модель Microsoft. Фи-3,5-мини-инструкт по средним показателям категории 3В. Chocolatine-3B-Instruct-DPO-Revised превосходит GPT-3.5-Turbo на MT-Bench-French, используемом с multilingual-mt-bench и GPT-4-Turbo в качестве судьи LLM. Примечательно, что эта последняя версия модели Chocolatine-3B приближается к производительности Phi-3-Medium (14B) на французском языке. 4-битная квантованная версия доступна здесь: jpacifico/Chocolatine-3B-Instruct-DPO-Revised-Q4K_M-GGUF 8-битная квантованная версия также доступна здесь: jpacifico/Chocolatine-3B-Instruct-DPO-Revised-Q80-GGUF Модель Chocolatine — это быстрая демонстрация того, что базовую модель можно легко настроить для достижения…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: jpacifico
Теги: phi3, french, chocolatine, conversational, custom_code, fr, en, text-generation-inference
Лайков: 28 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
