Мы представляем Trida-7B, высокопроизводительную языковую модель с 7 миллиардами параметров, представляющую собой первую общедоступную языковую модель блочной диффузии, созданную в Корее. Лидерство корейского языка Trida-7B устанавливает новый стандарт для генеративных моделей в регионе. Насколько нам известно, это: — Первая языковая модель Block Diffusion, которая будет открыто выпущена в Корее. — Первая языковая модель блочной диффузии, обученная с помощью поэтапной авторегрессии. — Самая эффективная языковая модель распространения на корейском языке среди моделей аналогичного размера. Эта модель является значительным шагом вперед для корейского сообщества LLM, демонстрируя эффективность парадигмы Block Diffusion для сложных многоязычных задач. Блочная диффузионная архитектура: Trida-7B использует блочную диффузионную архитектуру, сочетающую преимущества параллельной диффузионной генерации с авторегрессионными зависимостями для повышения эффективности, контроля и генерации последовательностей гибкой длины. Пошаговая авторегрессия внимания. Механизм внимания, который обеспечивает однопроходное обучение и эффективное RL путем фиксации масок внимания в процессе демаскирования. Также повышается эффективность вывода за счет включения kv-кэширования в текущем…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: trillionlabs
Теги: Trida, feature-extraction, finetuned, chat, conversational, custom_code, en, ko
Лайков: 12 | Загрузок: 57
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
