Доработанная версия VAGOsolutions/SauerkrautLM-gemma-2-9b-оптимизирована для лучшей производительности на итальянском языке. — Хорошая модель с 9,24 миллиарда параметров. — Поддерживает длину контекста 8 тыс. Модель была представлена и оценена в таблице лидеров Open Ita LLM, самой популярной таблице лидеров для моделей итальянского языка. Эти результаты делают эту модель сильной моделью 9B для Италии, превосходя модели 13-14B и даже превосходя некоторые модели в диапазоне 30-70B. Модель была доработана с использованием Hugging Face TRL и оптимизации прямых предпочтений. Я применил относительно новую технику обучения с эффективным использованием параметров: Spectrum. Идея состоит в том, чтобы обучить только слои модели с высоким отношением сигнал/шум (SNR) и ❄️ заморозить все остальное. В частности, обучение было сосредоточено на 20% наиболее информативных слоев. Процесс обучения занял около 12 часов на одном графическом процессоре NVIDIA A100 (80 ГБ видеопамяти). Код обучения см. в разделе DPO в этом блокноте 📓 Kaggle, измененном для использования другой базовой модели, гиперпараметров и отсутствия данных, соответствующих политике. Модель обучалась в основном на итальянских данных с включением небольшой части английских данных. Для оптимизации прямых предпочтений – данные по Италии –…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anakin87
Теги: gemma2, conversational, it, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 1,118
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
