Gemma2-2B-Swahili-Preview — это вариант суахили базовой языковой модели Gemma2 2B, доработанный на основе набора данных Inkuba-Mono суахили и предназначенный для улучшения понимания языка суахили посредством одноязычного обучения. — Разработчик: Alfaxad Eyembe — Базовая модель: google/gemma-2-2b — Тип модели: преобразователь только для декодера — Язык: суахили — Лицензия: Apache 2.0 — Подход тонкой настройки: адаптация низкого ранга (LoRA) Модель была точно настроена на специальном подмножестве набора данных Inkuba-Mono: — 1 000 000 случайно выбранных примеров — Всего токенов: 60 831 073 — Средняя длина текста: 101,33 символа — Различные источники текста на суахили, включая новости, социальные сети и различные домены — Метод точной настройки: LoRA — Шаги обучения: 2500 — Размер пакета: 2 — Шаги накопления градиента: 32 — Скорость обучения: 2e-4 — Время обучения: ~ 7,5 часов Эта модель предназначена для: — Продолжения текста на суахили — Понимания естественного языка — Генерация контекстного текста — Моделирование на базовом языке для суахили — Продолжение текста на естественном суахили — Четкое понимание культурного контекста — Эффективное обновление параметров через LoRA — Интеграция разнообразных предметных знаний — Не настраивается с помощью инструкций — Возможности моделирования на базовом языке -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Alfaxad
Теги: gemma2, text-2-text, llms, sw, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
