Доработанная версия google/gemma-2-2b-it, оптимизированная для повышения производительности на итальянском языке. — Небольшая, но мощная модель с 2,6 миллиардами параметров. — Поддержка длины контекста 8 тыс. Дополнительные примеры использования и приложений см. в блокноте 📓 Kaggle. Модель была представлена и оценена в таблице лидеров Open Ita LLM, самой популярной таблице лидеров среди моделей итальянского языка. Качественная оценка в различных областях доступна здесь. Обучение включало тонкую настройку инструкций и прямую оптимизацию предпочтений. Я применил относительно новую технику обучения с эффективным использованием параметров: Spectrum. Идея состоит в том, чтобы обучить только слои модели с высоким отношением сигнал/шум (SNR) и ❄️ заморозить все остальное. В частности, обучение было сосредоточено на верхних 25% наиболее информативных слоев. Размер партии: 16; скорость обучения: 5e-6; эпохи: 1 для SFT и 1 для DPO. Обучение заняло около 15 часов на одном графическом процессоре NVIDIA A6000 (48 ГБ видеопамяти). Подробный код обучения и подробную информацию можно найти в блокноте 📓 Kaggle. Модель обучалась в основном на итальянских данных с включением небольшой части английских данных. Для инструкции по точной настройке: — Итальянские данные — efederici/capybara-claude-15k-ita -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anakin87
Теги: gemma2, conversational, it, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 1,618
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
