We introduce Liger-GLA-8B, a gated linear recurrent model linearized from Transformer-based LLM. Our Liger framework is compatible with various linear recurrent models with gating structures: If you find this repo useful, please cite and star our work:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: linear-moe-hub
Теги: liger_gla, endpoints_compatible
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
dolly-v2-12b преобразован в формат GGML и квантован до 4-бит с помощью https://github.com/NolanoOrg/cformers. Эта вилка имеет модификацию, которая включает...
> [!NOTE] > Эта работа была выполнена в рамках проекта «GENIAC (Generative AI Accelerator Challenge)», который продвигается Министерством...
Подробную информацию см. в версии без обучения DPO: CausalLM/14B. 3 декабря 2023 г. · Небазовая модель своего размера...
HelpingAI2-6B — это современная модель большого языка, предназначенная для облегчения эмоционально интеллектуального общения. Он использует расширенные возможности обработки...
