Это версия модели Google Gemma 2B, разработанная на тамильском языке. Это эксперимент, чтобы увидеть, можно ли адаптировать Джемму к тамильскому языку без расширения словарного запаса. Хотя ответы иногда могут быть устаревшими, это показывает многообещающую перспективу для модели с параметрами 2B. 1. Базовая модель Джеммы постоянно предварительно обучалась на всех доступных данных Тамильской Википедии за 3 эпохи. 2. Обновленная модель затем была доработана на основе наборов данных английских и тамильских альпака за 5 эпох. > Примечание. Этот проект в настоящее время находится в стадии разработки (ДЛЯ ТАМИЛА). Начальная фаза предварительного обучения, возможно, была недостаточно обширной, что позволяет предположить, что производительность модели можно улучшить, расширив предварительное обучение на более крупном наборе данных, таком как CulturaX. Эта модель превосходит базу Google Gemma 2B и обучает модели по всем тестам в оценочном пакете Nous. Он также неожиданно превосходит mlabonne/Gemmalpaca-2B (самая эффективная модель 2B в тестах по состоянию на 25 февраля 2024 г.), несмотря на то, что это модель, нацеленная на языковую адаптацию. — Тип модели: 2B-параметрическая модель, подобная GPT, настроенная на 100 000 образцов, состоящих из равной доли английских и тамильских образцов. — Язык(и): Двуязычный. английский и тамильский. — Лицензия:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: abhinand
Теги: gemma, en, ta, model-index, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
