HEBATRON — это современная высокопроизводительная языковая модель, специально предназначенная для иврита. Разработанный в результате сотрудничества PwC Israel, MAFAT и AWS, он представляет собой уникальную гибридную архитектуру, сочетающую Mamba2 и Mixture-of-Experts (MoE). HEBATRON предназначен для решения структурных и морфологических сложностей иврита, обеспечивая при этом линейное масштабирование для задач с длинным контекстом. Это локализованная и расширенная версия платформы Nemotron-3-Nano-30B, оптимизированная для рассуждений на родном уровне на иврите и английском языке. Модель была обучена с использованием трехэтапной стратегии обучения по учебной программе: 1. Этап 1: Формальная основа (75,5 млрд токенов). Ориентирован на высококачественный структурированный иврит (юридические, академические и литературные тексты) для установления основных грамматических правил. 2. Фаза 2: Разговорное расширение (3,36 млрд токенов) Интеграция социальных сетей, форумов и неформальных веб-данных для обработки сленга и современных регистров. 3. Этап 3: Расширение длинного контекста (20,4 млрд токенов). Точная настройка плотных длинных документов для стабилизации контекстного окна размером 64 КБ. 4. Согласование: контролируемая точная настройка (SFT) была выполнена на 2 миллионах образцов, включая локализованную дистилляцию знаний и «ивритский IFEval»…
Модальности:
Генерация текста
Области применения:
Диалог / чат Финансы Юриспруденция
Задача: Генерация текста
Автор: HebArabNlpProject
Теги: mamba, nemotron_h, mamba2, moe, hebrew, finance, legal, ssm
Лайков: 14 | Загрузок: 700
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
