— Введение — Разница TransNormerLLM2 — Выпущенные веса — Результаты тестов — Вывод и развертывание — Установка зависимостей — Вывод — Точная настройка модели — Сообщество и экосистема — Отказ от ответственности, лицензия и цитирование В этом официальном репозитории представлена модель TransNormerLLM с ее весами с открытым исходным кодом. Кроме того, он предоставляет коды для контролируемой точной настройки (SFT) и вывода. TransNormerLLM развивается на основе TransNormer и является первым LLM в архитектуре линейного трансформатора. Кроме того, он отличается тем, что является первым LLM, не относящимся к Transformer, который превосходит как традиционные Transformer, так и другие эффективные модели Transformer (такие как RetNet и Mamba) с точки зрения скорости и производительности. — TransNormerLLM1 выпущен в ноябре 2023 года и включает три версии с параметрами 385M, 1B и 7B, обученные на 1,4 триллионах токенов. — Последнее обновление переходит с TransNormerLLM1 на TransNormerLLM2, предлагая три обновленные версии с параметрами 1B, 3B и 7B, обученные на 0,3 триллиона токенов. — Все версии доступны с открытым исходным кодом по лицензии Apache-2.0. — TransNormerLLM1 включает Simple GLU в микшер каналов, GLA в микшер токенов,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenNLPLab
Теги: TransNormerLLM, custom_code, en, zh
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
