Palmer — это серия языковых моделей с параметрами ~1b, настроенных для использования в качестве базовых моделей вместо использования пользовательских подсказок для задач. Это означает, что ее можно дополнительно настроить на большее количество данных с помощью настраиваемых подсказок, как обычно, или использовать для последующих задач в качестве любой базовой модели, которую вы можете получить. Модель сочетает в себе лучшее из обоих миров: некоторую «предвзятость» действовать в качестве помощника, а также способность предсказывать следующее слово из своей интернет-базы знаний. Это модель 1.1b llama 2, поэтому вы можете использовать ее со своими любимыми инструментами/фреймворками. Обучение заняло ~3,5 часа P100 GPU. Он был обучен на 15 000 перетасованных образцах gpt-4. Palmer был настроен с использованием более низких скоростей обучения, что позволило сохранить как можно больше общих знаний. Как вы можете заметить, модель фактически по умолчанию заполняет вопросы, которые задаются с наибольшей вероятностью, и это хорошо, поскольку большинство людей будут использовать ее для ответа в качестве чат-бота. Выбирайте это только в том случае, если вы хотите получить недоработанную модель для продолжения предварительного обучения.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: appvoid
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
