Мы представляем Tri-70B-preview-SFT, предварительную исследовательскую версию нашей новейшей и крупнейшей флагманской языковой модели, которая переопределяет границы эффективности в обучении LLM. Достигнув высочайшей производительности для своего размера вычислений (1,5 ТБ обучающих токенов с нуля), мы демонстрируем, что исключительные возможности не требуют чрезмерных вычислительных ресурсов. Мы выпускаем версию с минимальным постобучением, чтобы обеспечить открытые исследования и эксперименты сообщества. Эта предварительная версия прошла только тщательную настройку и не подвергалась обширному RLHF. Это позволяет исследователям исследовать различные методы выравнивания на основе RL с помощью этой модели. Следите за обновлениями, скоро выйдет базовая модель! — Архитектура, оптимизированная для длинного контекста — Контекстное окно 32 тыс. — Скользящее окно внимания с размером окна 4096 — iRoPE: чередование локального (RoPE) и глобального (с учетом температуры) внимания — Масштабируемый softmax — Многоязычные возможности: специально оптимизировано для английского, корейского и японского языков — Расширенное мышление: модифицированная смесь наборов обучающих данных, специально разработанная для возможностей рассуждения, с упором на пошаговое решение проблем — Минимальное пост-обучение: эта предварительная версия включает…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: trillionlabs
Теги: trillion, finetuned, chat, conversational, custom_code, en, ko, ja
Лайков: 43 | Загрузок: 305
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
