GPT-S-1.4M — модель первого поколения в семействе малых моделей GPT-S, построенная на архитектуре T-X3: 1,4M параметров, 6B обучающих токенов, специальный токенизатор 4K, 5 уровней и совершенно новое внимание к эксклюзивным групповым запросам (XGQA), обученное с нуля на корпусе из 5 источников. Посмотрите, как она сравнивается с аналогичными моделями, здесь: Открытая таблица лидеров SLM. Во всех оценках используется нулевой балл с множественным выбором. Нормализованная точность указывается там, где это возможно. GPT-S-1.4M был обучен с нуля для токенов 6B на смешанном английском корпусе, построенном на образовательном веб-тексте, синтетическом материале в стиле учебника и веб-тексте более высокого качества. Это очень маленькая модель базового языка. Он не настроен на инструкции, имеет ограниченную фактическую емкость и использует контекстное окно из 384 токенов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AxiomicLabs
Теги: gpts14m, language-model, transformer, rope, swiglu, custom-architecture, custom-tokenizer, xgqa
Лайков: 6 | Загрузок: 418
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
