Это доработанная модель llama-2 с использованием синтетических инструкций, сгенерированных airoboros. Серия 2.0 создается исключительно из версии 0614 gpt-4 в качестве механизма для сравнения июньской версии с мартовской версией. — В серию m2.0 включен набор данных 1.4.1, без дубликатов и без категории «система», что означает, что она также включает мартовские данные gpt-4. — Все 7b/13b/70b основаны на llama-2 (и имеют дурацкую, двусмысленную нелицензию, описанную ниже) — 33b/65b основаны на оригинальной ламе (и являются строго исследовательскими/некоммерческими) — 7b/13b — это полные доработки с помощью FastChat, а не QLoRA — 33b/65b/70b — это доработки QLoRA (прежде чем возненавидеть это, помните, что все предыдущие версии этого размера тоже были QLoRA) Что выбрать, 2.0 или м2.0? Понятия не имею, попробуйте оба и посмотрите, какой лучше. Если вы прочитали статью LIMA, то увидите, что меньшие и более чистые наборы данных дают отличные результаты, а это означает, что 2.0, вероятно, будет лучшим выбором. Если вам действительно понравилась версия 1.4 и вы хотите добавить функциональность, но не обязательно другие результаты, возможно, m2.0. Другими словами, это преамбула/системное приглашение, за которым следует один пробел…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 28 | Загрузок: 1,081
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
