Mamba — это новая архитектура модели пространства состояний, демонстрирующая многообещающую производительность при работе с насыщенными информацией данными, такими как языковое моделирование, где предыдущие субквадратичные модели не дотягивают до Transformers. Он основан на развитии структурированных моделей пространства состояний с эффективным аппаратно-ориентированным дизайном и реализацией в духе FlashAttention. Посмотрите, Ма, набор данных инструкций, который не был сгенерирован GPT! — Репозиторий: https://github.com/huggingface/alignment-handbook — Бумага: — Таблица лидеров: https://huggingface.co/spaces/HuggingFaceH4/openllmleaderboard — Контактное лицо: Льюис Танстолл No Robots — это высококачественный набор данных, состоящий из 10 000 инструкций и демонстраций, созданных опытными аннотаторами-людьми. Эти данные можно использовать для контролируемой точной настройки (SFT), чтобы языковые модели лучше следовали инструкциям. No Robots был смоделирован на основе набора данных инструкций, описанного в документе OpenAI InstructGPT, и состоит в основном из однооборотных инструкций в следующих категориях:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: clibrain
Теги: tensorboard, conversational, en, endpoints_compatible
Лайков: 15 | Загрузок: 741
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
