BübleLM — это модель немецкого языка, основанная на Gemma-2-2B, адаптированная с использованием транс-токенизации с помощью специального немецкого токенизатора SentencePiece. Модель демонстрирует, как токенизация для конкретного языка может значительно повысить производительность, сохраняя при этом возможности базовой модели. — Архитектура: основана на архитектуре только для декодера Gemma-2B — Параметры: 2 миллиарда — Токенизатор: специальный токенизатор немецкого SentencePiece (словарь 20 тыс.) — Коэффициент рождаемости: 1,78 токенов на слово — Оптимизирован для немецких морфологических структур — Обучение на том же корпусе, что и модель — Длина контекста: 8192 токена — Оборудование для обучения: один узел с 4x NVidia Графические процессоры A100-SXM4-80GB Обучены на 3,5 млрд токенов проекта Occiglot-FineWeb, включая: — Современный веб-контент (OSCAR 2015-2023) — Законодательные документы (EurLex, ParlamInt) — Данные новостей (Tagesschau) — Источники Wiki Вес выборки данных: — Википедия: 4x — Новости/парламентские органы: 2x — Другие источники: 1x Ключевые улучшения по сравнению с базовой моделью Gemma-2-2B: — HellaSwag-DE: +71% (47,9% против 28,0%) — ARC-DE: +41% (32,3% против 22,9%) — Средний нулевой выстрел: +40% (35,8% против 25,5%) → BübleLM-2B стабильно превосходит как базовую Gemma-2-2B, так и другие немецкие модели. как LLäMmlein-1B…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: flair
Теги: gemma2, german, causal-lm, de, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 352
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
