Gemma-Kimu-9B-Instruct v1.0 — это модель большого языка инструкций (LLM), специально разработанная для баскского языка, созданная на основе базовых моделей инструкций Google Gemma-2-9b и Gemma-2-9b. Используемый подход отделяет языковую адаптацию от выравнивания после обучения, сначала постоянно предварительно обучая базовую LLM на небольшом количестве одноязычных данных целевого языка с привязкой к воспроизведению английского языка, а затем вводя возможности следования инструкциям посредством слияния весов на основе дельты с инструктируемым аналогом базового LLM. Сначала мы постоянно предварительно обучаем базу LLM одноязычным данным на баскском языке, чтобы улучшить ее лингвистические возможности. Затем, вместо постобучения с нуля, мы объединяем дельту после обучения в адаптированную к языку модель посредством объединения весов. Этот простой, но эффективный метод позволяет нам передавать не только возможности следования инструкциям, но и согласование человеческих предпочтений. Оценки показывают, что Gemma-Kimu-9b-it демонстрирует заметные улучшения по сравнению с Gemma-2-9b-it на баскском языке в следовании инструкциям, безопасности и лингвистической правильности. Хотите протестировать эту модель в реальных условиях? Присоединяйтесь к списку ожидания: ИГРОВАЯ ПЛОЩАДКА Для постоянной предварительной подготовки мы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: orai-nlp
Теги: gemma2, conversational, eu, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
