Gemma-Kimu-2b-Instruct v1.0 — это модель обучения на большом языке (LLM), специально разработанная для баскского языка, построенная на основе базовых моделей Google Gemma-2-2b и Gemma-2-2b INSTRUCT. Используемый подход отделяет языковую адаптацию от выравнивания после обучения, сначала постоянно предварительно обучая базовый LLM на скромном количестве одноязычных данных целевого языка, привязывая их к английскому повтору, а затем внедряя возможности следования инструкциям через del Сначала мы постоянно проводим предварительную подготовку базового LLM по одноязычным данным на баскском языке, чтобы улучшить его лингвистические возможности. Затем, вместо пост-обучения с нуля, мы объединяем дельту пост-обучения в адаптированную к языку модель путем слияния веса. Этот простой, но эффективный метод позволяет нам передавать не только возможности следования инструкциям, но и выравнивание человеческих предпочтений. Оценки показывают, что Gemma-Kimu-2b-it демонстрирует заметные улучшения по сравнению с Gemma-2-2b-it в баскском языке в плане следования инструкциям, безопасности и лингвистической корректности. Хотите протестировать эту модель в реальных условиях? Присоединяйтесь к списку ожидания: ИГРОВАЯ ПЛОЩАДКА Для непрерывного предварительного обучения мы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: orai-nlp
Теги: gemma2, conversational, eu, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
